最大熵下的概率分布

背景

本文为研究生课程里面的一个作业，题目自选，最后老师也没有让我们提交，所以传上来给大家参考、相互学习，如有疑问请联系850051568@qq.com

题目

已知某随机分布满足的约束条件如下式：
$$s.t.\{\begin{array}{rl}x& \ge 0\\ E(x)& =\frac{1}{\mu }\end{array}$$
求使得熵最大的概率分布。

问题分析

本题要求依据所测量得到的数据及由其构成的约束条件下，按最不确定性，即使熵最大化的原则求取概率分布。求解思路为：根据最大熵发求解概率分布的数学模型采用拉格朗日(Lagrange)乘子法来解析求解，根据KKT条件，可得最优解。

理论介绍

信息熵的物理含义为某一信号不确定性的度量，数学公式为：$I(x_i)=-\log p(x_i)$.连续随机变量X的熵的物理含义是：某个信源的总体平均不确定性的度，数学公式为：$H(X)=-{\int }_{R}p(x)\log p(x)dx$.

最大熵发求解概率分布的数学模型为：
$$\max (-{\int }_{S}p(x)\log p(x)dx\mid \text{ s.t }\left\{\begin{array}{rl}-p(x)& \le 0\\ {\int }_{S}p(x)& =1\\ {\int }_{S}p(x)f_i(x)dx& =a_i,(i=1,2,3,\dots ,n)\end{array}\right)$$

代入拉格朗日(Lagrange)乘子法方程，可得式：
$$L(p,\lambda )={\int }_{S}p\log pdx-{\mu }_{-1}p+{\mu }_0\left({\int }_{S}pdx-1\right)+\sum _{j=1}^n{\lambda }_j\left({\int }_{S}p{f}_{j}dx-a_j\right).$$
根据KKT条件对上式求导=0，可得最优解
$$\frac{\partial L}{\partial p}=\ln p+1-{\mu }_{-1}+{\mu }_0+\sum _{j=1}^n{\lambda }_j{f}_j=0$$
进而得：
$$\begin{array}{rl}p& =e^{-1+{\mu }_{-1}-{\mu }_0-{\sum }_{j=1}^n{\lambda }_j{f}_j}\\ & =C^{\ast }{e}^{-{\sum }_{j=1}^n{\lambda }_j^{\ast }{f}_j(x)}\\ & =C^{\ast }{e}^{-{\lambda }_1^{\ast }{f}_1(x)-{\lambda }_2{f}_2(x)-\dots }\\ & =p^{\ast }\end{array}$$

题目求解

由最优解标准式和已知约束，可知满足最大熵概率形式为：
$$\begin{array}{l}p(x)=c{e}^{-{\lambda }_1{f}_1(x)-{\lambda }_2{f}_2(x)-\dots }\\ \text{ s.t. }\{\begin{array}{rl}x& \ge 0\\ E(x)& =\frac{1}{\mu }\end{array}\Rightarrow \begin{array}{rl}{f}_1(x)& =x\\ f_2(x)& =x\end{array}\end{array}\}\Rightarrow p(x)=\{\begin{array}{rl}c{e}^{-({\lambda }_1+{\lambda }_2)x}& ,x\ge 0\\ 0& ,others\end{array}$$
根据概率满足的固有条件和题目所给条件：$\{\begin{array}{rl}{\int }_0^{+\infty }p(x)dx& =1\\ {\int }_0^{+\infty }xp(x)dx& =\frac{1}{\mu }\end{array}$
上述2式联立，得：
$$\{\begin{array}{rl}c{\int }_0^{+\infty }{e}^{-({\lambda }_1+{\lambda }_2)x}dx& =1\\ c{\int }_0^{+\infty }x{e}^{-({\lambda }_1+{\lambda }_2)x}dx& =\frac{1}{\mu }\end{array}$$
将${\lambda }_1$+${\lambda }_2$视为一个整体，$c$为未知量，$\mu$为已知量，2个方程接2个未知量，解得：
$$\{\begin{array}{rl}c& =\mu \\ {\lambda }_1+{\lambda }_2& =\mu \end{array}$$
综上，可得求得的熵最大概率分布为：
$p(x)=\{\begin{array}{r}\mu e^{-\mu x},x\ge 0\\ 0,others\end{array}$,是一个系数为$\mu$的指数分布。

总结

• 输出信号自变量非负时，输出信号的概率密度函数是指数分布时熵最大。
• 用拉格朗日乘子法求解有约束的最小化数学模型时，约束、表达式、变量(待求变量)是三要素，缺一不可。
• (自)信息量用于反映信号的不确定性，当前信号存在的概率越低，其不确定性就越高，所以对应的信息熵就越大。信息量越大，表示先验不确定性和后验不确定性的差值越大。