2401_90042281的博客

1、“神器”nn.linear，通过nn.linear（A,B）可以把数据从A维度转换到B维度一个（16，4）的矩阵（表示16条数据每个数据有四个参数）经过nn.linear（4,1）会转化为（16,1）.2、梯度下降算法，SGD（随机梯度下降），通过沿着损失函数梯度的反方向更新参数来逐步逼近最优解，每次迭代使用一个小批量的数据样本。相对于标准梯度下降，提高了参数更新的稳定性，又加快了收敛速度：选择合适的学习率至关重要。如果学习率过高，可能会跳过最优点；如果太低，则会显著增加训练时间。

最简单的神经网络，没有激活函数，只能进行线性运算。单纯的线性运算无论有多少层，都可以通过化简变成y=wx+b的简单形式，没有意义。