Pytorch学习笔记

最新推荐文章于 2025-06-24 11:08:06 发布

原创最新推荐文章于 2025-06-24 11:08:06 发布 · 2.5k 阅读

15 ·

CC 4.0 BY-SA版权

强烈推荐学习网站：https://sherlockliao.github.io/2017/05/01/logistic_regression/
10分钟学会Pytorch（1~10）都应该学会。

几个重要函数：

torch.utils.data.DataLoader：
首先DataLoader是导入图片的操作，里面有一些参数，比如batch_size和shuffle等，默认load进去的图片类型是PIL.Image.open的类型，如果你不知道PIL，简单来说就是一种读取图片的库。
torchvision.transforms：
torchvision.transforms里面的操作是对导入的图片做处理，比如可以随机取(50, 50)这样的窗框大小，或者随机翻转，或者去中间的(50, 50)的窗框大小部分等等，但是里面必须要用的是transforms.ToTensor()，这可以将PIL的图片类型转换成tensor，这样pytorch才可以对其做处理。
torchvision.datasets
torchvision.datasets里面有很多数据类型，里面有官网处理好的数据，比如我们要使用的MNIST数据集，可以通过torchvision.datasets.MNIST()来得到，还有一个常使用的是torchvision.datasets.ImageFolder()，这个可以让我们按文件夹来取图片，和keras里面的flow_from_directory()类似，具体的可以去看看官方文档的介绍。
nn.Sequential() 这个表示将一个有序的模块写在一起，也就相当于将神经网络的层按顺序放在一起，这样可以方便结构显示
nn.Conv2d() 这个是卷积层，里面常用的参数有四个，in_channels, out_channels, kernel_size, stride, padding
<1> in_channels表示的是输入卷积层的图片厚度
<2> out_channels表示的是要输出的厚度
<3> kernel_size表示的是卷积核的大小，可以用一个数字表示长宽相等的卷积核，比如kernel_size=3，也可以用不同的数字表示长宽不同的卷积核，比如kernel_size=(3, 2)
<4> stride表示卷积核滑动的步长
<5> padding表示的是在图片周围填充0的多少，padding=0表示不填充，padding=1四周都填充1维
torch.nn.ReLU()
这个表示使用ReLU激活函数，里面有一个参数inplace，默认设置为False，表示新创建一个对象对其修改，也可以设置为True，表示直接对这个对象进行修改
torch.nn.MaxPool2d()
这个是最大池化层，当然也有平均池化层，里面的参数有kernel_size, stride, padding
<1> kernel_size表示池化的窗口大小，和卷积层里面的kernel_size是一样的.
<2> stride也和卷积层里面一样，需要自己设置滑动步长.
<3> padding也和卷积层里面的参数是一样的，默认是0
模型需要传入的参数是输入的图片维数以及输出的种类数
nn.LSTM()
LSTM函数有如下几个参数：
<1> input_size 表示的是输入的数据维数
<2> hidden_size 表示的是输出维数
<3> num_layers 表示堆叠几层的LSTM，默认是1
<4> bias True 或者 False，决定是否使用bias
<5> batch_first True 或者 False，因为nn.lstm()接受的数据输入是(序列长度，batch，输入维数)，这和我们cnn输入的方式不太一致，所以使用batch_first，我们可以将输入变成(batch，序列长度，输入维数)
<5> dropout 表示除了最后一层之外都引入一个dropout
<6> bidirectional 表示双向LSTM，也就是序列从左往右算一次，从右往左又算一次，这样就可以两倍的输出

定义模型的框架：

class Logstic_Regression(nn.Module):
    def __init__(self, in_dim, n_class):
        super(Logstic_Regression, self).__init__()
        self.logstic = nn.Linear(in_dim, n_class)

    def forward(self, x):
        out = self.logstic(x)
        return out

model = Logstic_Regression(28*28, 10)  # 图片大小是28x28

TrainLoader设计：
参考网址：https://zhuanlan.zhihu.com/p/28200166

# Normal batch generator
#   x and y are list or array
class Arrayloader(Dataset):
    def __init__(self, x, y):
        self.x = x; self.y = y

    def __len__(self):
        return len(self.y)

    def __getitem__(self, idx):
        idx_x = torch.from_numpy(np.array(self.x[idx]))
        idx_y = torch.from_numpy(np.array([self.y[idx]]))
        return idx_x, idx_y
# 注idx_x 类如形式：[[1,2,3,],[1,2,3],......]
# idx_y类如形式：[[0],[1],[0],[1],......]
train_set = Arrayloader(X_train, y_train) # 合并X和y
        train_loader = DataLoader(train_set, batch_size = 128, shuffle=True, num_workers=4)

模型训练设计：

for epoch in range(num_epoches):
    print('epoch {}'.format(epoch+1))
    print('*'*10)
    running_loss = 0.0
    running_acc = 0.0
    for i, data in enumerate(train_loader, 1):
        img, label = data
        img = img.view(img.size(0), -1)  # 将图片展开成 28x28
        if use_gpu:
            img = Variable(img).cuda()
            label = Variable(label).cuda()
        else:
            img = Variable(img)
            label = Variable(label)
        # 向前传播
        out = model(img)
        loss = criterion(out, label)
        running_loss += loss.data[0] * label.size(0)
        _, pred = torch.max(out, 1)
        num_correct = (pred == label).sum()
        running_acc += num_correct.data[0]
        # 向后传播
        optimizer.zero_grad() # 对所有的参数的梯度缓冲区进行归零
        loss.backward()
        optimizer.step()

注：我们如果将模型放到了gpu上，相应的我们的Variable也要放到gpu上。

函数名	作用
torh.cuda.is_available()	判断是否可以在GPU上跑
nn.Sequential()	将一个有序的模块写在一起
nn.Conv2d()	是卷积层

模型篇

三层BP

class Neuralnetwork(nn.Module):
    def __init__(self, in_dim, n_hidden_1, n_hidden_2, out_dim):
        super(Neuralnetwork, self).__init__()
        self.layer1 = nn.Linear(in_dim, n_hidden_1)
        self.layer2 = nn.Linear(n_hidden_1, n_hidden_2)
        self.layer3 = nn.Linear(n_hidden_2, out_dim)

    def forward(self, x):
        x = self.layer1(x)
        x = self.layer2(x)
        x = self.layer3(x)
        return x
model = Neuralnetwork(28*28, 300, 100, 10)
if torch.cuda.is_available():
    model = model.cuda()

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=learning_rate)

基本卷积网络：

# 定义 Convolution Network 模型
class Cnn(nn.Module):
    def __init__(self, in_dim, n_class):
        super(Cnn, self).__init__()
        self.conv = nn.Sequential(
            nn.Conv2d(in_dim, 6, 3, stride=1, padding=1),
            nn.ReLU(True),
            nn.MaxPool2d(2, 2),
            nn.Conv2d(6, 16, 5, stride=1, padding=0),
            nn.ReLU(True),
            nn.MaxPool2d(2, 2),
        )

        self.fc = nn.Sequential(
            nn.Linear(400, 120),
            nn.Linear(120, 84),
            nn.Linear(84, n_class)
        )

    def forward(self, x):
        out = self.conv(x)
        out = out.view(out.size(0), -1)
        out = self.fc(out)
        return out


model = Cnn(1, 10)  # 图片大小是28x28
use_gpu = torch.cuda.is_available()  # 判断是否有GPU加速
if use_gpu:
    model = model.cuda()
# 定义loss和optimizer
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=learning_rate)

LSTM模型：

class Rnn(nn.Module):
    def __init__(self, in_dim, hidden_dim, n_layer, n_class):
        super(Rnn, self).__init__()
        self.n_layer = n_layer
        self.hidden_dim = hidden_dim
        self.lstm = nn.LSTM(in_dim, hidden_dim, n_layer, batch_first=True)
        self.classifier = nn.Linear(hidden_dim, n_class)

    def forward(self, x):
        # h0 = Variable(torch.zeros(self.n_layer, x.size(1),
        #   self.hidden_dim)).cuda()
        # c0 = Variable(torch.zeros(self.n_layer, x.size(1),
        #   self.hidden_dim)).cuda()
        out, _ = self.lstm(x)
        out = out[:, -1, :]
        out = self.classifier(out)
        return out