常见损失函数汇总整理！

均方误差 (MSE)
 

原理: MSE用于回归问题，通过计算实际值与预测值之间的平方差来度量误差。
 

特点: 对异常值敏感，可能导致模型对离群值过于敏感。
 

优点: 容易求导，计算简单。
 

缺点: 不适用于离群值较多的数据，不如其他损失函数鲁棒。
 

适用场景: 用于回归问题，如股票价格预测
 

交叉熵损失 (CE)
 

原理: CE广泛用于分类问题，通过度量实际类别与预测类别之间的差距来评估模型性能。
 

特点: 对分类问题效果良好，可用于多分类任务。
 

优点: 对概率分布的敏感性高，鼓励模型产生确信度高的预测。
 

缺点: 容易过拟合，计算较为复杂。
 

适用场景: 图像分类、情感分析等。
 

平均绝对误差 (MAE)
 

原理: MAE用于回归问题，衡量实际值与预测值之间的绝对差距。
 

特点: 对异常值不敏感，稳定。
 

优点: 易于理解，鲁棒性好。
 

缺点: 不如MSE对大误差敏感，可能忽略重要信息。
 

适用场景: 用于回归问题，如预测家庭电力消耗。
 

Kullback-Leibler散度 (KL散度)
 

原理: KL散度度量两个概率分布之间的差异，通常用于衡量两个分布之间的相似性。
 

特点: 用于非监督学习、生成模型。
 

优点: 可以衡量分布之间的信息差异。
 

缺点: 非对称，不适用于回归或分类问题。
 

适用场景: 生成模型、无监督学习
 

Focal Loss
 

原理: Focal Loss用于解决类别不平衡问题，通过降低易分类样本的权重来关注难分类样本。
 

特点: 有效解决类别不平衡问题，提高对罕见类别的性能。
 

优点: 适用于目标检测、图像分割等领域。
 

缺点: 需要调优参数，不适用于所有问题。
 

适用场景: 目标检测、图像分割
 

Triplet Loss
 

原理: Triplet Loss用于学习嵌入向量，通过最小化锚点与正例之间的距离同时最大化锚点与负例之间的距离来提高嵌入向量的质量。
 

特点: 用于人脸识别、图像检索等任务。
 

优点: 学习有意义的嵌入空间，鲁棒性好。
 

缺点: 需要大量的三元组样本。
 

适用场景: 人脸识别、图像检索