信息论与概率分布的香农熵计算

最新推荐文章于 2025-10-02 14:19:28 发布

原创

最新推荐文章于 2025-10-02 14:19:28 发布 · 858 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#香农熵 #概率分布 #Python

1、计算公平和非公平骰子概率分布的香农熵，非公平骰子概率分布为(1/10,1/10,1/10,1/10,1/10,1/2)，公平骰子概率分布为(1/6,1/6,1/6,1/6,1/6,1/6)。

以下是评估非公平骰子（概率分布为(1/10,1/10,1/10,1/10,1/10,1/2)）香农熵的Python程序，运行该程序可得到该非公平骰子的香农熵。

import numpy as np
import math
import re

arr = np.array([1/10,1/10,1/10,1/10,1/10,1/2])
shannon_entropy = 0
numterms = len(arr)
print(numterms)
index = 0
for index in range(0, numterms):
    shannon_entropy += arr[index]*math.log(arr[index])
shannon_entropy = -shannon_entropy
print(shannon_entropy)

要计算公平骰子的香农熵，可将程序中的概率数组替换为公平骰子的概率分布(1/6,1/6,1/6,1/6,1/6,1/6)，再运行程序即可。以下是修改后的代码：

import numpy as np
import math
import re

arr = np.array([1.0/6,1.0/6,1.0/6,1.0/6,1.0/6,1.0/6])
shannon_entropy = 0
numterms = len(arr)
print(numterms)
index = 0
for index in range(0, numterms):
    shannon_entropy += arr[index]*math.log(arr[index])
shannon_entropy = -shannon_entropy
print(shannon_entropy)

运行上述代码可得到公平骰子的香农熵。

2、同时掷两个公平的六面骰子，它们点数之和的期望值是多少？这个期望值是实际可能出现的结果吗？如果不是，这意味着什么？

两个六面骰子掷出的点数总和 $ X $ 的期望值 $ E(X) = 7 $。
这个期望值是实际可能出现的结果，因为两个骰子点数之和可能为 7 。
期望值是基于概率计算出的理论平均结果，反映了在大量重复试验中结果的平均水平。

3、查阅文献并撰写一份关于鞅（Martingale）类型序列常见出现情况的报告。

鞅在多个领域有常见应用：

数学与统计学 ：
在统计学中，似然比检验的检验统计量“似然比”是鞅的例子。渐近等分定理（AEP）和霍夫丁不等式已被推广到鞅。
物理学 ：
当观测描述平衡或“稳态”等物理现实中熟悉的涌现现象时，常能看到鞅序列现象，物理系统达到平衡时会体现鞅序列性质。
算法学习 ：
在算法学习环境中，系统达到平衡时能看到鞅序列性质。在隐马尔可夫模型（HMM）的维特比推导中，若使用局部“传感器”，如轮廓 - HMM 或状态转变附近的位置相关马尔可夫模型，会出现似然比序列为鞅的情况；在 HMM 维特比区域识别中也会出现。
赌博领域 ：
赌博中有很多鞅的例子。
马尔可夫链 ：
对于马尔可夫链过程，可诱导出鞅。设 {Yn} 是马尔可夫链过程，f 是有界右正则序列，Xn = f(Yn) 是关于 {Yn} 的鞅。