信息熵推导

本文探讨了信息熵的概念,通过实例解释了概率与信息量之间的关系,包括概率为0和1时的信息量特性,以及概率大小对信息量的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

设对于某个事件 x, 发生的概率是 p(x), 对应的"信息量"是 I(x).

性质

1. p(x) = 0  =>  I(x) = +\inf (正无穷大)

2. p(x) = 1  =>  I(x) = 0

3. p(x)>p(y)  =>  I(x)<I(y)

含义是概率为 的事件对应的信息量大反之信息量少.

我们概率老师举的例子是皇家马德里与中国队踢那么皇马赢的概率...是人都知道...所以没有信息量(=0). 反之若是中国队赢了这个信息量就大了.

4. I(x)>=0    信息量总是正的.

5. p(x,y)=p(x)p(y)  =>  I(x,y)=I(x)+I(y)

信息量的叠加性知道了两个独立事件的概率相当于知道了两方的信息(的和)

由以上性质就能决定出 I(x) = -c*ln(p(x)), 其中 是某个正常数代入就可验证.

最后的信息熵公式 - sum p[i] * ln(p[i]) 可以看作 ln(p) 的期望也就是整个系统的平均信息的多少.

### 信息熵的概念 信息熵(Information Entropy)是信息论中的核心概念之一,用来量化随机变量的不确定或平均信息量。它是香农在1948年提出的理论基础的一部分[^2]。 #### 定义 信息熵是对随机变量所有可能取值的概率分布的一种度量方式。具体来说,它表示的是在一个系统中预测某一事件所需的信息量的期望值。如果一个系统的状态越难以预测,则其信息熵越高;反之,若该系统的行为较为确定,则信息熵较低[^3]。 #### 计算公式 信息熵 \( H(X) \) 的计算公式为: \[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_b(p(x_i)) \] 其中: - \( X \) 是离散型随机变量; - \( n \) 表示随机变量的所有可能取值的数量; - \( p(x_i) \) 是第 \( i \) 种可能的发生概率; - 基底 \( b \) 可以为任意正实数,通常选择自然对数 (ln, 即 \( e \)) 或以二为基 (\( log_2 \)) 来表达单位比特(bit)[^5]。 此公式的推导基于自信息量的概念以及加权求和的思想来获得整个系统的平均信息量[^1]。 #### 应用场景 信息熵广泛应用于数据压缩、编码理论等领域。通过分析信源发出信号的概率特并利用这些特的规律减少冗余从而实现高效传输与存储的目的[^4]。 ```python import math def entropy(probabilities): """ Calculate the information entropy of a discrete random variable. :param probabilities: List of probability values for each possible outcome :return: The calculated entropy value """ h_x = sum(-p * math.log2(p) if p > 0 else 0 for p in probabilities) return h_x # Example usage with hypothetical data points representing different outcomes' probabilities example_probs = [0.1, 0.2, 0.3, 0.4] print(f"The entropy is {entropy(example_probs)} bits.") ``` 上述代码片段展示了如何依据给定的一组概率值列表来计算对应的信息熵数值。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值