个人日志0707

使用TorchVision的数据集CIFAR-10建立神经网络，今天主要集中在利用独热编码为图像分类。

遇到的问题：

1. Fig, ax = subplot(2,1)中ax的返回值是一个元组，需要加额外的索引进行使用（ax[index]）

1. 注意nn.Sequential没有cuda属性，需要在结尾使用.cuda()

1. 在第一次训练的时候花费时间过久（平均每0.1% 花费 一分钟），推测是神经网络过于庞大和冗杂，尝试增大学习率与减少训练次数，并简化神经网络。

1. 简化后发现并没有得到好转，推测是训练批次过低从而使GPU资源闲置，利用不充分。

提升训练批次后，训练时间得到有效缩短：

但图片呈现存在问题，且推测存在过拟合。

1. 尝试继续简化模型，减小训练批次，优化调用pyplot

1. 推测训练轮数过少，继续优化

推测是线性结构的局限性，想要以少代价提升性能只能后续更换为卷积网络

主要收获：

1. 线性网络结构难以提取时空特征，需要更高级的结构单元。
2. 对于过拟合，早停（减少训练轮次）也是一种方法。
3. 过拟合有可能意味着模型过于复杂。