利用Pytorch对CIFAR10数据集分类（三）

定义损失函数和优化器

代码如下：

net = Net()
import numpy as numpy 
from torch.autograd import Variable
# Define loss (Cross-Entropy)
import torch.optim as optim

criterion = nn.CrossEntropyLoss()
# SGD with momentum
#optimizer = optim.SGD(net.parameters(), lr=0.005, momentum=0.9)
optimizer = optim.Adam(net.parameters(),lr = 0.005)

其中

net = Net()

该语句为网络定义一个对象，上面我们所建的网络是一个类。

criterion = nn.CrossEntropyLoss()

CrossEntropyLoss交叉商损失函数
交叉熵的理解参考
https://blog.youkuaiyun.com/xg123321123/article/details/52864830

#optimizer = optim.SGD(net.parameters(), lr=0.005, momentum=0.9)
optimizer = optim.Adam(net.parameters(),lr = 0.005)

这两句都是定义优化函数第一句定义的是随机梯度下降法
优点：
1虽然SGD需要走很多步的样子，但是对梯度的要求很低（计算梯度快）。而对于引入噪声，大量的理论和实践工作证明，只要噪声不是特别大，SGD都能很好地收敛。
2应用大型数据集时，训练速度很快。比如每次从百万数据样本中，取几百个数据点，算一个SGD梯度，更新一下模型参数。相比于标准梯度下降法的遍历全部样本，每输入一个样本更新一次参数，要快得多。
缺点：
1SGD在随机选择梯度的同时会引入噪声，使得权值更新的方向不一定正确。
2此外，SGD也没能单独克服局部最优解的问题。
原文链接：https://blog.youkuaiyun.com/weixin_40170902/article/details/80092628
第二句是自适应矩阵估计法
Adam的特点有：
1、结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点;
2、对内存需求较小;
3、为不同的参数计算不同的自适应学习率;
4、也适用于大多非凸优化-适用于大数据集和高维空间。
5、计算速度较慢，计算效率低

训练网络并更新网络参数

代码

if __name__ ==  '__main__':
    # Train the network
    for epoch in range(100):
        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # get the inputs
            inputs, labels = data
            inputs, labels = Variable(inputs), Variable(labels)
            # zero the parameter gradients
            optimizer.zero_grad()
            outputs = net(inputs)
            # loss
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            running_loss += loss.item()
            if i % 3125 == 3124:  # print every 2000 mini-batches
                print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 50000))
                running_loss = 0.0

optimizer.zero_grad()

该语句较为重要是将梯度归零，应每次计算完minibatch的梯度在计算下一个minibatch的梯度时要将梯度归零否则梯度累加达不到梯度下降的效果。

测试网络

correct = 0
        total = 0
        for data in testloader:
            images, labels = data
            outputs = net(Variable(images))
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum()
        print('%d Accuracy of the network on the 10000 test images: %d %%' % (
            epoch + 1,100 * correct / total))

将测试集中的数据进行计算看看我们训练的神经网络能达到的正确率为多少。