损失函数与训练参数对模型的影响

1、更改损失函数并观察会发生什么。

损失函数对模型训练的影响

不同的损失函数会对模型训练产生不同影响。

• 目标识别
  常用普通交叉熵损失函数，通过一系列运算得出损失值和成本值。

• 自编码器
  使用均方误差损失函数，公式为：
  $$
  \text{mse} = \frac{\sum{(actual_y - predicted_y)^2}}{num_of_y}
  $$

• 循环神经网络
  使用交叉熵损失函数，计算各时间步误差并求和。

更改损失函数的影响

更改损失函数可能改变模型的 收敛速度、精度和泛化能力 。

示例分析

• 若将 均方误差损失函数 用于目标识别，可能不适合概率分布输出，影响模型对样本分类判断，导致精度下降。

• 若将 交叉熵损失函数 用于自编码器，可能无法有效衡量输入输出重构误差，使模型难以学习数据特征。

2、改变训练轮数（epochs）并观察会发生什么。

训练轮数对模型训练的影响

改变训练轮数会对模型的训练效果和性能产生影响。

增加训练轮数

• 模型有更多机会学习数据特征。
• 输出可能从噪声逐渐变为更清晰的形状。
• 可能提高模型准确性。
• 但也会增加训练时间和内存消耗。

示例 ：在某些示例中，10 轮训练可能仅达到 20% 的准确率，可能需要训练多达 1000 轮才能