损失函数概念

损失函数概念

1.损失函数是什么？

损失函数：衡量模型输出与真实标签的差异

损失函数是计算一个样本的差异

代价函数是计算整个样本集损失函数的平均值

为什么目标函数有Regularization这一项呢？

因为cost接近于0，不一定是好事？可能过拟合。
增加正则项的目的就是加入约束条件。在一定程度上的抑制过拟合。
正则常用的有三种：L1,L2，稀疏约束

pytorch中loss函数的定义：

在loss函数中，size_average和reduce不用再考虑了，都已经被reduction考虑进去了。
同时可知loss也是继承了Module，就是有那个8个变量