MPCE: A Maximum Probability Based Cross Entropy Loss Function for Neural Network Classification

论文精读：MPCE - 基于最大概率的交叉熵损失函数

论文标题：MPCE: A Maximum Probability Based Cross Entropy Loss Function for Neural Network Classification
作者：Yangfan Zhou 等
发表会议/期刊：IEEE Access (2019)
论文链接：10.1109/ACCESS.2019.2946264

---

一、研究背景与动机

1. 交叉熵（CE）的局限性

传统交叉熵（Cross Entropy, CE）是多分类任务的标准损失函数，但其存在两个关键问题：

• 冗余梯度：CE将非真实类别的目标概率固定为0。当这些非真实类别的预测概率极低（如0.001）时，其微小梯度仍参与反向传播，导致参数更新效率下降。
• 收敛与精度的矛盾：现有改进方法（如TCE、ACE）通过采样或正则化加速收敛，但可能牺牲分类精度。

2. MPCE的提出

作者提出 MPCE（Maximum Probability Cross Entropy），核心思路是：动态调整真实类别的目标概率，使其与预测概率中的最大值关联，从而减少冗余梯度，提升训练效率。

---

二、MPCE的核心设计

1. 动态目标概率调整

• 传统CE：真实类别的目标概率固定为1，损失为 $L_{\text{CE}}=-\log (p_{\text{true}})$。

• MPCE：将真实类别的目标概率设为预测中的最大值 $y_{\text{max}}$，损失函数隐式定义为：
  $$L_{\text{MPCE}}=-\sum _{c=1}^M$$