9、使用PyTorch构建深度神经网络

使用PyTorch构建深度神经网络

1. 理解Sigmoid函数与权重的关系

在处理神经网络时，Sigmoid函数是一个常用的激活函数。通过计算不同输入值和权重下的Sigmoid值，我们发现：
- 当权重值大于0.1时，Sigmoid值不会随权重值的增加而有明显变化。
- 当权重值极小时，Sigmoid值的变化也很小，只有当权重值有非常微小的变化时，Sigmoid值才会有所改变。
- 当输入值较小时，Sigmoid值会有较大变化。

这是因为大的负指数值（权重值乘以大的数）非常接近0，而当权重乘以缩放后的输入时，指数值会发生变化。这表明，除非权重值非常小，否则Sigmoid值不会有显著变化，因此我们需要找到一种方法来将权重值调整到最优。

2. 理解批量大小的影响

2.1 批量大小为32

在训练数据集中，之前每批考虑32个数据点，这导致每个epoch有更多的权重更新（每epoch有1875次权重更新，因为60000/32约等于1875，其中60000是训练图像的数量）。为了评估模型在未见过的数据上的性能，我们引入了验证数据集。具体步骤如下：
1. 下载并导入训练图像和目标。
2. 下载并导入验证数据集：

val_fmnist = datasets.FashionMNIST(data_folder, download=True, train=False)
val_images = val_fmnist.data
val_targets = val_fmnist.targets

<