pytorch：梯度下降与反向传播

线性回归模型

参考链接： PyTorch: 梯度下降及反向传播.
以一个最简单的线性回归模型为例：

损失函数

在模型训练中，损失函数用来衡量预测值与真实值之间的误差，数值越小表示误差越小。一个常见的选择是平方函数。 它在评估索引为 i 的样本误差的表达式为

可能有人想问这里为什么要除以1/2，其实有没有1/2对于损失函数来说效果是一样的，加上1/2是为了求导方便（把平方求导的系数变成1）。
批量样本的损失函数是单个样本损失函数的均值。假设批量大小为 n，则：


权重w的大小直接影响损失函数值的大小。假设准确的回归模型为