利用自然对数证明相对熵的非负性 P22314072 李政运

相对熵（Kullback-Leibler散度）的非负性可以通过自然对数和凸函数性质证明如下：

1. ‌定义与表达式‌
   对于离散概率分布 P 和 Q，相对熵定义为：

   DKL(P∥Q)=∑P(x)ln⁡[P(x)/Q(x)]

   连续情况下类似，将求和替换为积分。

2. ‌关键步骤：利用凸函数性质‌

   • 自然对数函数ln⁡(x)是严格凹函数，其负值−ln⁡(x)为严格凸函数。
   • 根据Jensen不等式，对于凸函数ϕ，有：ϕ(E[X])≤E[ϕ(X)]                                              应用于ϕ(x)=−ln⁡(x)和随机变量 Q(x)/P(x)，可得：−ln⁡(∑P(x)Q(x)P(x))≤−∑P(x)ln[⁡Q(x)/P(x)]                                                                       化简后得到：DKL(P∥Q)≥−ln⁡(∑Q(x))=−ln⁡(1)=0                                                            当且仅当P(x)=Q(x)对所有x成立时取等号。

3. ‌结论‌
   上述推导表明 DKL(P∥Q)≥0，且仅在两分布相同时为零。