woshihlf的博客

利用残差结构块的网络1、要解决的问题：梯度消失2、跳连接，H(x) = F(x) + x,张量维度必须一样，加完后再激活。不要做pooling，张量的维度会发生变化。

卷积神经网络中，有很多超参数很难选（kernel_size等），那么我们就多用几种卷积，然后把结果摞在一起，将来的输出必定是效果好的卷积权重更大，那么结果也就会更好。在这几条路中自动找到最优。目标：我们这里设计一种类GoogLeNet网络，主要实践inception。四条路径下，必须保证图像的长度和高度一致。inception设计理念。1*1的卷积有什么用？改变通道数，减少计算量。

ReLU层运用了ReLU函数，它是一种简单的非线性函数，用于将负值映射到零，而保持正数值不变。ReLU函数的优点包括使训练快速收敛，解决了梯度弥散问题，以及通过稀疏性提高了网络的性能。在克服ReLU函数的缺点方面，一种改进是Leaky ReLU函数，它在输入x小于0时设定了一个较小的梯度值，而非0，以避免完全抑制负数梯度。而ReLU层对输入内容的所有值都应用了函数f(x) = max(0, x)，因此，所有的负激活值都会被置为零，从而避免了梯度消失的问题。此外，ReLU层还有助于减轻梯度消失的问题。

Python在读取图像时，会读取[0,255]，但是神经网络对[0,1]分布训练效果最好,所以我们要把他转化成[0,1]的tensor。神经网络最后一步不用做激活，而PyTorch已经提供了一个包含softmax和计算loss的CrossEntropyLoss。loss = np.exp(z)/np.exp(z).sum() 这是对应的损失函数。这是softmax那层的函数，保证每一个输出都是正数，并且和为1。与之对应的限制，必须保证y是一个longTensor。

用mini-batch平衡训练速度和训练结果的一个需求。DataLoader 拿出一个mini-batch。Dataset 是为了构造数据集。

计算图构建成矩阵相乘就行。

pytorch提供了很多数据集，下面代码是个demo注意自己电脑的路径！！

用了随机梯度下降算法，用了很简单的数据集，是一个基础。

不是一个正式的任务，仅仅是实现一下线性模型，为之后的学习打下基础。

好的我们已经可以基于pytorch构建简单模型了，以后一直是这四步，务必牢记于心。# 补充知识1 *args和**kwargs。# 魔法函数__call__

介绍了反向传播的相关知识，代码中有很多注释。