yzc1546802196的博客

原创 训练中loss值一直完全不变的问题

上网检索后，发现有大佬说是激活函数的饱和问题当输入值过大时，激活函数的输出接近饱和值（如 Sigmoid 的输出接近 0 或 1），这会导致其梯度接近于 0（梯度消失问题）。因此，反向传播时，模型参数的梯度更新几乎为 0，无法有效更新参数。今天在训练代码时遇到了loss一直不变的情况，每个epoch的验证集损失一直恒定是一个数，不管小数点后多少位都是一个数。损失一直固定，验证集的数据集又是固定的，我分析认为每个epoch训练后模型的状态是一致的，也就是模型没有正常更新！