Transformer——Q122 分析Focal Loss对难样本梯度权重的调整公式

该问题归类到Transformer架构问题集——训练与优化——损失函数。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景

在大语言模型（LLM）的训练以及众多机器学习任务里，样本不均衡是一个常见且棘手的问题。简单样本数量往往庞大，模型容易对其实现准确预测；而难样本数量稀少，却对模型的泛化能力和复杂场景下的表现起着关键作用。传统的损失函数，如交叉熵损失，在处理这种不均衡时存在明显缺陷。它平等地对待所有样本的损失贡献，使得模型在训练过程中会过度偏向于简单样本的学习，因为简单样本数量多，其累计的损失值在总损失中占比较大，从而导致难样本的学习被忽视，最终影响模型在复杂任务上的性能表现。Focal Loss 正是为了解决这一问题而被提出，它通过独特的设计来调整不同难度样本的梯度权重，引导模型更加关注难样本的学习。

2. 技术原理

• 交叉熵损失回顾：
  • 对于二分类问题，交叉熵损失（Binary Cross - Entropy Loss）的表达式为 ，其中  代表真实标签，p 是模型预测为正类的概率。当 y = 1 时，，此时若 p 接近 1，即模型对正类预测准确，损失值就小；若 p 接近 0，损失值就大。当 y = 0 时，，若 p 接近 0，损失值小，若 p 接近 1，损失值大。
  • 在多分类问题中，交叉熵损失公式为 ，这里 C 表示类别数， 是真实标签（采用 one - hot 编码形式，只有真实类别对应的 &n