技术交流QQ群:1027579432，欢迎你的加入！

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Date    : 2019-03-01 10:02:11
# @Author  : cdl (1217096231@qq.com)
# @Link    : https://github.com/cdlwhm1217096231/python3_spider
# @Version : $Id$

import torch
import torchvision
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import torchvision.transforms as transforms
import torchvision.models as models
import torchvision.datasets as datasets
from torch.utils.data import DataLoader, Dataset
import pandas as pd
import numpy as np

# 1.pytorch基础：数据的加载与预处理
"""
pytorch通过torch.utils.data对一般常用的数据进行了封装，可以很容易实现对线程数据预读和批量加载
torchvision已经预先实现了常用图像的数据集，包括cifar10 imagenet coco mnist lsun等数据集，可以通过torchvision.datasets来进行调用。
"""

# 1.1 DataSet类来自torch.utils.data中
"""
为了能方便读取，需要将使用的数据包封装为DataSet类，自定义DataSet时，需要继承该类并重写两个成员方法：
    __getitem()__：定义了每次怎么读数据
    __len()__:定义了自定义数据集的大小
"""


class BulldozerDataSet(Dataset):
    def __init__(self, cvs_file):
        # 实现初始化方法，在初始化时将数据进行加载
        self.df = pd.read_csv(cvs_file)

    def __len__(self):
        # 返回df的长度
        return len(df)

    def __getitem(self, idx):
        # 根据索引，返回一列数据
        return self.df.iloc[idx].SalePrice


# 数据集定义已经完成，可以实例化一个对象进行访问
ds_demo = BulldozerDataSet("median_benchmark.csv")
# 由于实现了__len__()方法可以直接使用len获取数据总数
print(len(ds_demo))
# 用索引可以直接访问对应的数据
print(ds_demo[0])


# 1.2 DataLoader
"""
DataLoader提供了对DataSet的读取操作，常用的参数有:batch_size(每个batch的大小)、shuffle(是否打乱)、num_workers(加载数据的时候使用几个子线程)
"""
dl = DataLoader(ds_demo, batch_size=10, shuffle=True, num_workers=0)

# !!! DataLoader返回的是一个迭代器，可以使用迭代器分次获取数据
iter_data = iter(dl)
print(next(iter_data))
# 或者使用for循环来对其进行遍历
for i, data in enumerate(dl):
    print(i, '--->', data)
    break

# 1.3 torchvision包
"""
torchvision是pytorch专门用来处理图像的库
"""

# 1.3.1 torchvision.datasets
"""
可以理解为pytorch团队自定义的dataset，拿来就可以使用：CIFAR10、COCO、MNIST等数据集
"""
# train_set = datasets.MNIST(root="./data", train=True,
# download=True, transform=None)
"""
root:表示MNIST数据集的加载目录
train:表示是否加载数据库的训练集，false时加载测试集
download:表示是否自动下载MNIST数据集
transform:表示是否需要对数据进行预处理，none表示不进行预处理
"""

# 1.3.2 torchvision.models
"""
torchvision不仅提供常用的图片数据集，还提供训练好的模型，可以在加载后使用，或者在进行迁移学习时使用
torchvision.models模块的子模块中包含以下模型结构： AlexNet VGG ResNet SqueezeNet DenseNet
"""

# resnet18 = models.resnet18(pretrained=True)


# 1.3.3 trochvision.transforms
"""
transforms模块提供了一般的图像转换操作类，用于数据的处理和增广
"""
transform = transforms.Compose([
    transforms.RandomCrop(32, padding=4),  # 先四周填充0，在吧图像随机裁剪成32*32
    transforms.RandomHorizontalFlip(),  # 图像一半的概率翻转，一半的概率不翻转
    transforms.RandomRotation(-45, 45),  # 随机旋转
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465),
                         (0.229, 0.224, 0.225))  # R,G,B每层的归一化用到的均值和方差
])