信息论001_条件互信息-优快云博客

本文链接：https://blog.youkuaiyun.com/ResumeProject/article/details/119423876

本文深入探讨了信息论中的核心概念，包括信息、消息和信号的区别，以及自信息、互信息和熵的数学表述和物理意义。详细解释了信息熵作为衡量不确定性的度量，互信息表示信息传输的有效性，条件熵描述了在已知某些信息后的剩余不确定性。此外，还讨论了平均互信息的性质，如非负性、对称性和极值性，以及在信息传输系统中的作用。最后，通过实例展示了如何运用这些概念解决实际问题，如通过天平判断不同重量小球和识别有毒水桶。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

信息<消息<信号

$信息：是事物运动状态或存在方式不确定性的描述\\ 消息：是包含有信息的语言文字或图像等\ \ \ \ \ \ \ \ \ \ \ \ \\ 信号：是消息的物理体现\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\$
$对通信系统来说，传输的是信号，信号承载着消息，消息中不确定的成分是信息$

自信息

$I (x) = - l o g (p (x))$

自信息单位

$自信息的单位：自信息的单位取决于对数的底，$

底数	单位
2	bit
e	nat
10	hat

互信息

互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性

信息熵（熵=E=平均）

$信息量是一个部分值，而信息熵是一个整体值，H(x)=-\sum q(x)log(q(x))$

$信息熵及其相关概念$

$条件熵(\tiny 知道某一条件后的剩余不确定度\normalsize) \ \ \ \ \ \ \ \ \ \ \ H(Y|X)=-\sum \color{red} p(x_i,y_j)log(y_j|x_i) \color{black}\\ 联合熵 \ \ \ H(X,Y)=H(X)+H(Y|X)=-\sum \color{red} p(x_i,y_j)log(x_i,y_j) \color{black}\\ 互信息与熵的关系：I(X;Y)=H(X)-H(X|Y),知道条件Y后，Y提供的关于X的信息\\ 或通过联合自信息I(XY)表示：I(X;Y)=H(X)+H(Y)-I(XY)$
$：条件概率P(A|B)=\frac{P(AB)}{P(B)}\\ H(Y|X)=\sum_{i=1}^n p(x_i)H(Y/x_i) =-\sum_{i=1}^n p(x_i)\sum_{j=1}^m p(y_j/x_i)log(p(y_j/x_i)) \\ =-\sum_{i=1}^n \sum_{j=1}^m p(x_i) p(y_j/x_i)log(p(y_j/x_i)) \\ =-\sum_i \sum_j \color{red} p(x_i,y_j)log(y_j|x_i)$

$条件熵一定不大于无条件熵：H(Y)\geq H(Y|X)$

熵的性质

非负性

$H(x)=-\sum q(x)log(q(x))永不为负$

熵的可加性

$独立信源:H(XY)=H(X)+H(Y)\\ 相关信源:H(XY)=H(X)+H(Y|X)$

凸性

$的上凸函数：H(\theta P_1+(1-\theta)P_2)>\theta H(P_1)+(1-\theta)H(P_2)$

极值性

$H_n(P_1,P_2,…，p_n)\leq log(n)\\ 最大离散熵定理：对于n个符号的离散信源，n个符号信源等可能出现，信源熵得到最大值$

$平均互信息性质\\ ●非负性，即I(X;Y)≥0。该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，平均互信息等于0, 但决不会失去已知的信息\\ ●对称性，即I(X;Y)= I(Y;X)。\\ ●极值性，即I(X;Y)≤ H(X) 一般来说，平均互信息总是小于信源的熵，只有当信道是无损信道时，平均互信息才等于信源的熵率。\\ ●凸状性，I(X;Y)是二元兩数: P(X)的上凸函数， P(Y/X)的下凸函数。$

$●从信息传输系统角度看熵的意义\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ ●H(X);表示信源边每个符号的平均信总量(信源熵) ;\\ ●H(Y); 表示信宿边每个符号的平均信息量(信宿熵) ;\\ ●H(X|Y):条件熵H(X/Y)表示在信宿接收到Y后，信源X尚存的平均不确定性。这个对X尚存的不确定性是由于信道干扰引起的。有时称H(X/Y)为信道疑义度，也称损失熵。\\ ●H(Y|X):噪声熵，表示在己知信源发出X后，对于信宿Y尚存的平均不确定性;这是由于噪卢引起的。也称为噪声熵。\\ ●H(XY):表示整个信息传输系统的平均不确定性。$

$●互信息与其他熵的关系\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ ●I(X;Y) =H(X) - H(X/Y) \\H(X)表示传输前信源的不确定性，而H(X/Y) 表示收到符号集合Y后,对信源X尚存的不确定性,所以二者之差为信道传递的平均信总量。\\ ●I(X;Y)= H(Y)- H(Y/X) \\I(X;Y)也表示输出端H(Y)的不确定性和已知X 的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。\\ ●I(X;Y)= H(X) + H(Y)- H(XY)\\ ●I(X;Y)确定通过信道的信息量的多少，因此称它为信道传输率或传信率$

题目

$13个小球，通过天平判断质量不同的那一个小球，要称几次？\\ 总不确定度：log_313，天平有3个状态，称一次解除的不确定度：log_33=1Tet\\ 如果还需判断轻重，还需增加1bit信息：总不确定度：log_213+log_22$

1000桶水，其中一桶有毒，猪喝毒水后会在15分钟内死去，想用15分钟内找到这桶毒水，至少需要几头猪？

$1000桶水其中有一桶有毒“这个随机变量X的信息熵为\\ H(x)=-1000*\frac{1}{1000}log_2(\frac{1}{1000})=9.966\\ 1只猪喝水以后的要么活着，要么死去，一共有两种状态，\\所以”1只猪喝完水以后的状态“这个随机变量Y的信息熵为-(\frac{1}{2}log(\frac{1}{2})+\frac{1}{2}log(\frac{1}{2}))\\ n只猪喝完水会有 2^n 种状态，即"n只猪喝完水以后的状态"这个随机变量Y的信息熵为\\ H(Y)=-\sum_{i=1}^{2^n}\frac{1}{2^n}log_2\frac{1}{2^n}=n\\ 那么随机变量Y的信息熵必须要大于随机变量X的信息熵:\\H(Y)\geq H(X)\Rightarrow n\geq 9.966,n=10$

收到y=0000时，x=0000,全部结果对于x的自信息

在这里插入图片描述

$两种解法：\\ 1：互不相关，可利用加法公式\\I(x/y)= I(x;y_1=0)+I(x;y_2=0/y_1=0)+I(x;y_3=0/y_1=y_2=0)+I(x;y_4=0/y_1=y_2==y_3==0) \\ 2：利用定义式：I(x/y)=log\frac{p(y/x)}{p(y)}=log\frac{(1-p)^4}{\frac{1}{8}((1-p)^4+6(1-p)^2)p^2+p^4}$

等概率信源，信道的矩阵如下：，接收y为0000

在这里插入图片描述

参考

信息论:5-5©

教材:

信息论基础 Thomas.M.Cover

参考:

工业信息论
信息论与编码
应用信息论基础
信息论与编码学习辅导及习题详解

【信号与信息处理_百度百科】https://mbd.baidu.com/ma/s/kLBA6MDJ

三个随机事件的情况

$在给定条件\{Z=z\}下，事件\{X=x\}与\{Y=y\}之间的条件互信息定义为：\\ 在z的条件下x;y的信息：I(x;y|z)=I(x|z)-I(x|yz)=log\frac{p(x|y,z)}{p(x|z)}\\ 三个随机变量的条件互信息：在给定条件Z下，X与Y=y之间的条件互信息定义为：\\ I(X;Y|Z)=\sum_x\sum_y\sum_zp(x,y,z)I(x;y|z)=\sum_x\sum_y\sum_zp(x,y,z)log\frac{p(x|y,z)}{p(x|z)}$