LLM大模型中的基础数学工具——概率分布与度量

Q13：推导 KL 散度  的非对称性

KL 散度到底是啥

KL 散度（相对熵）用于衡量两个概率分布 P 和 Q 的差异。公式 ，它量化了用分布 Q 近似分布 P 时损失的信息量。比如 P 是实际的用户点击行为分布，Q 是推荐系统预测的点击分布，KL 散度能衡量预测与真实行为的差异。

非对称性的推导是怎么来的

要证明 ，举个具体例子：设，。

计算：

取绝对值计算实际散度

 

计算 \(D_{KL}(Q || P)\)：

两者数值明显不同，故，非对称性成立。

在 LLM 中的使用

在大语言模型（LLM）的模型蒸馏中，教师模型 P 输出包含丰富语义的 “软” 分布（如生成词的概率非极端值），学生模型 Q 需模仿此分布。通过 衡量差异，指导学生模型优化。例如，大模型教小模型时，小模型通过最小化 <