Transformer——Q121 推导交叉熵损失与极大似然估计的等价性证明

该问题归类到Transformer架构问题集——训练与优化——损失函数。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景

在大语言模型（LLM）的训练与优化过程中，我们常常需要借助一些关键的概念和方法来衡量模型预测结果的好坏以及估计模型的参数。交叉熵损失（Cross - Entropy Loss）和极大似然估计（Maximum Likelihood Estimation, MLE）就是其中极为重要的两个工具。交叉熵损失主要用于量化模型预测分布与真实分布之间的差异程度，而极大似然估计则是一种从给定数据中估计模型参数的有效方法。理解它们之间的等价性，不仅有助于我们更深入地理解模型训练的目标和机制，还能为模型的优化和改进提供理论支持。在实际的 LLM 应用场景中，如文本生成、情感分析、问答系统等，准确地运用交叉熵损失和极大似然估计可以显著提升模型的性能和表现。

2. 技术原理

• 交叉熵（Cross - Entropy）：
  • 从信息论的角度来看，交叉熵是用来衡量两个概率分布之间的差异的一种度量。对于离散随机变量 X，其取值范围为 ，假设有两个概率分布 p(x) 和 q(x)，其中 p(x) 通常表示真实的概率分布，而 q(x) 则是模型预测的概率分布。交叉熵的定义为 。
  • 为什么要这样定义呢？我们知道，信息论中，一个事件 x 的自信息（Self - Information）定义为 ，它反映了事件 x 发生时所包含的信息量。当 p(x) 越接近 0 时，I(x) 越大，说明该事件发生时带来的信息量越大；反之，当 p(x) 接近 1 时，I(x) 越小。而交叉熵