信息科学基础期中复习笔记

教材：《信息论基础》（第三版）石峰，莫忠息，武汉大学出版社
第1-4章
为了复习之便，对教材顺序可能有所调整。

Chapter 1 概论

老三论：控制论，系统论，信息论
Shannon,1956：Shannon熵
自信息：$I(A)=-\log P(A)$ 事件的发生概率越小，产生的信息量越大
熵：$H=-{\sum }_i{p}_i\log (p_i)$

Chapter 2 信息与熵

离散信源：$(S,P)$: 有限符号集S={x1,...,xn}S=\{x_1,...,x_n\}S={x1​,...,xn​}，P为其上的一个概率分布，其中$x_i$的概率为$p_i$
自信息：$I(x_i)=-\log p_i$，其中底数可以任意取，但一般取为2，此时信息的单位为bit 意义：一个从{0,1}中等概率取值的随机变量的信息为1bit
熵：$H(S)=-{\sum }_i{p}_i\log p_i$，特别地，指定$0\cdot log0=0$
熵函数的唯一性：满足以下三个直觉性质的熵函数唯一，形如$H(S)=-{\sum }_i{p}_i{\log }_C{p}_i$

1. $H(p_1,...,p_n)$对所有分布有定义且连续
2. $H(\frac{1}{n},...,\frac{1}{n})<H(\frac{1}{n+1},...,\frac{1}{n+1})$
3. $H(\frac{1}{n},...,\frac{1}{n})=H(\frac{b_1}{n},...,\frac{b_k}{n})+{\sum }_i^k\frac{b_i}{n}H(\frac{1}{b_i},...,\frac{1}{b_i})$

熵的性质：

1. $0\le H(S)\le \log n$，前者取等当且仅当$p_k=1$，其余为0，后者取等当且仅当$p_i=\frac{1}{n},\forall i$
2. 与$x_1,,..,x_n$的顺序无关，仅与概率分布有关
3. 特别的，如果一个离散随机变量X的分布和S相同，则X的熵定义同上，之后也不再和信源区分

联合熵：$H(X,Y)=-{\sum }_{i,j}p(x_i,y_j)\log p(x_i,y_j)$
显然，X和Y的联合熵就是随机向量(X,Y)的熵，同理可以定义多元联合熵
性质4：$H(X,Y)\le H(X)+H(Y)$，取等当且仅当X和Y独立(用条件熵比较好证)，同理$H(X_1,...,X_n)\le H(X_1)+...+H(X_n)$
条件熵：$H(X|Y=y)=-{\sum }_{i}p(x_i|y)\log p(x_i|y)$
$H(X|Y)={\sum }_{j}p(Y=y_j)H(X|Y=y_j)=-{\sum }_{i,j}p(x_i,y_j)\log p(x_i|y_j)$
由于$p(x_i|y_j)=p(x_i,y_j)/p(y_j)$，可得以下式子：
$$H(X|Y)=H(X,Y)-H(Y)$$
推论：性质5：$H(X|Y)\le H(X,Y),H(Y)\le H(X,Y)$
性质6（条件熵减）：$H(X|Y)\le H(X)$，取等当且仅当X和Y独立
推论：性质4
熵函数的性质：
性质7：${\sum }_i{p}_i\log \frac{1}{p_i}\le {\sum }_i{p}_i\log \frac{1}{q_i}$对任意分布p和子分布q成立（${\sum }_i{q}_i\le 1$）
性质8：可加性（分组求熵），对称性，扩展性（增加一个取值$ϵ$的随机变量没有影响）
（下）凸函数：形如$y=x^2$；反之为凹（上凸）函数
性质9：在n元概率分布定义的凸空间K上，熵函数$H(p_1,...,p_n)$为凹函数
微分熵：
对于连续型随机变量X，定义其微分熵$H_C(X)=-{\int }_{-\infty }^{\infty }p(x)\ln p(x)dx$（底数为自然对数）
对于常见的分布：
$H_C(U[a,b])=\ln (b-a)$, $H_C(N[\mu ,{\sigma }^2])=\frac{1}{2}\ln (2\pi e{\sigma }^2)$
对于一般的分布X：熵功率${\bar{\sigma }}^2=\frac{1}{2\pi e}{e}^{2H_C(X)}$，特别的，对于正态分布，熵功率和方差相等
性质10：微分熵和熵最大的区别为其取值范围为$(-\infty ,\infty )$
其它微分熵：$H_C(X,Y),H_C(X|Y)$，保持了以下关系：
性质11：$H_C(X|Y)+H_C(Y)=H_C(X,Y)$
性质12：$H_C(X|Y)\le H_C(X)$
性质13：$H_C(X)+H_C(Y)\le H_C(X,Y)$
附加约束下的微分熵界限：
性质14：若X在(-M,M)上取值，则$H_C(X)\le \ln 2M$，取等当且仅当X为均匀分布
性质15：若X的方差为${\sigma }^2$，则$H_C(X)\le \ln \sqrt{2\pi e}\sigma$，取等当且仅当X为正态分布
注：求一个随机变量X的函数g(X)的密度函数的方法：

1. 直接求g(X)的分布函数F(a)=P{g(X)<a}F(a)=P\{g(X)<a\}F(a)=P{g(X)<a}，再对F求导得到密度函数
2. （密度变换公式）设随机变量 $\xi$ 的密度函数为 $p_{\xi }(x),a<x<b$. 如果可 以把 $(a,b)$ 分割为一些 (有限个或可列个) 互不重叠的子区间的和 $(a,b)={\bigcup }_j{I}_j$, 使得函数 $u=g(t),t\in (a,b)$ 在每个子区间上有唯一的反函数 $h_j(u)$, 并且 $h_j^{\prime }(u)$ 存 在连续, 则 $\eta =g(\xi )$ 是连续型随机变量, 其密度函数为:
   $$p_{\eta }(x)=\sum _j{p}_{\xi }\left(h_j(x)\right)\left|h_j^{\prime }(x)\right|$$
   例如：$X\sim U[a,b]$，求$X^2$的密度函数。
   解：1：F(k)=P{X2<k}=P{−k<X<k}=1b−a(min⁡{k,b}−max⁡{−k,a})(k>0)F(k)=P\{X^2<k\}=P\{-\sqrt{k}<X<\sqrt{k}\}=\frac{1}{b-a}({\min\{\sqrt{k},b\}}-\max\{-\sqrt{k},a\})(k>0)F(k)=P{X2<k}=P{−k​<X<k​}=b−a1​(min{k​,b}−max{−k​,a})(k>0)，然后分类对k求导即可
   2：由于需要$X^2$单调，因此需要将[a,b]分割为大于0和小于0的两部分：
   在大于0的部分：g的反函数是$\sqrt{x}$，导数存在连续，则$p_{g(X)}(x)=p_X(\sqrt{x})\times \frac{1}{2}{x}^{-\frac{1}{2}}$，小于0的部分同理，加上讨论和判断$\sqrt{x}$的取值区间即可。

Chapter 3 互信息

互信息：事件$b_j$对于事件$a_i$的互信息$I(a_i;b_j)=\log \frac{p(a_i,b_j)}{p(a_i)p(b_j)}=\log \frac{p(a_i|b_j)}{p(a_i)}=I(b_j;a_i)$，独立时=0
特别的，$I(a_i;a_i)=I(a_i)$(自信息)
条件自信息：$I(a_i|b_j)=\log \frac{p(b_j)}{p(a_i,b_j)}$
联合自信息：$I(a_i,b_j)=\log \frac{1}{p(a_i,b_j)}$
记忆方法：$I(Y)=\log \frac{1}{p(Y)}$
性质1：$I(a_i;b_j)+I(a_i,b_j)=I(a_i)+I(b_j)$
条件互信息：在条件$x_1,...,x_{n-2}$下的$x_N$关于$x_{N-1}$的条件互信息：$I\left(x_N;x_{N-1}\mid x_1,\cdots ,x_{N-2}\right)=\log \frac{p\left(x_N\mid x_1,\cdots ,x_{N-2},x_{N-1}\right)}{p\left(x_N\mid x_1,\cdots ,x_{N-2}\right)}$
联合事件和事件之间的互信息：
$I\left(a_i;b_j,c_k\right)=\log \frac{p\left(a_i\mid b_j,c_k\right)}{p\left(a_i\right)}$
性质2：$I\left(a_i;b_j,c_k\right)=I\left(a_i;b_j\right)+I\left(a_i;c_k\mid b_j\right)=\begin{array}{rl}& =I\left(b_j,c_k;a_i\right)\\ & =I\left(b_j;a_i\right)+I\left(c_k;a_i\mid b_j\right)\\ & =I\left(a_i;b_j\right)+I\left(c_k;a_i\mid b_j\right).\end{array}$
注意：符号“,”,“;”,“|”的运算次序为 “,”,“;”和“|”.
平均互信息：
定义为各个事件的互信息的数学期望
$I(X;Y)=E\left(I\left(a_i;b_j\right)\right)={\sum }_i{\sum }_{j}p\left(a_i,b_j\right)\log \frac{p\left(a_i,b_j\right)}{p\left(a_i\right)p\left(b_j\right)}$
性质3：$$\begin{gathered} I(X;Y)=H(X)-H(X\mid Y) \\ =H(X)+H(Y)-H(X,Y)\ge 0 \end{gathered}$$

同理，有：
平均联合互信息：$\begin{array}{rl}I(X;YZ)& =H(X)-H(X\mid YZ)\\ & =H(YZ)-H(YZ\mid X)\end{array}\ge 0$
平均条件互信息：$I(X;Y\mid Z)={\sum }_k{\sum }_j{\sum }_{l}p\left(a_k,b_j,c_l\right)\log \frac{p\left(a_k,b_j\mid c_l\right)}{p\left(a_k\mid c_l\right)p\left(b_j\mid c_l\right)}\ge 0$
性质4：$\begin{array}{rl}I(X;Y\mid Z)=& H(X\mid Z)-H(X\mid YZ),\\ I(X;Y\mid Z)=& H(Y\mid Z)-H(Y\mid XZ).\\ I(X;Y\mid Z)=& H(X\mid Z)+H(Y\mid Z)-H(XY\mid Z).\\ I(X;Y\mid Z)=& H(XZ)-H(Z)-H(XYZ)+H(Z)\\ & +H(YZ)-H(Z)\\ =& H(XZ)+H(YZ)-H(XYZ)-H(Z).\end{array}$
多元互信息：
$I(X;Y;Z)={\sum }_k{\sum }_j{\sum }_{l}p\left(a_k,b_j,c_l\right)\log \frac{p\left(a_k,b_j\right)p\left(b_j,c_l\right)p\left(a_k,c_l\right)}{p\left(a_k\right)p\left(b_j\right)p\left(c_l\right)p\left(a_k,b_j,c_l\right)}$，不一定大于等于0
性质5：$I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)$，由于X,Y,Z可以轮换，因此可以得到若干个条件互信息的关系式
互信息函数的性质：
可以将X与Y的互信息$I(X;Y)$看作关于X的概率分布P和Y关于X的条件分布矩阵Q的函数$I(P,Q)$，则：
性质6：$I(P,Q)$是关于P的凹（上凸）函数
性质7：$I(P,Q)$是关于Q的凸（下凸）函数
同理，可以定义连续随机变量的互信息：
$\begin{array}{rl}I(X;Y)& =E_{XY}(I(x;y))\\ & ={\iint }_{XY}(x,y)\log \frac{p_{X\mid Y}(x\mid y)}{p_X(x)}\mathrm{d}x\mathrm{d}y\\ & ={\iint }_{XY}(x,y)\log \frac{p_{XY}(x,y)}{p_X(x)p_Y(y)}\mathrm{d}x\mathrm{d}y.\end{array}$
$I(X;Y\mid Z)={\iiint }_{XYZ}(x,y,z)\log \frac{p_{XY\mid Z}(x,y\mid z)}{p_{X\mid Z}(x\mid z)p_{Y\mid Z}(y\mid z)}\mathrm{d}x\mathrm{d}y\mathrm{d}z$
$I(XY;Z)={\iiint }_{XYZ}(x,y,z)\log \frac{p_{XYZ}(x,y,z)}{p_{XY}(x,y)p_Z(z)}\mathrm{d}x\mathrm{d}y\mathrm{d}z$
性质8：$\begin{array}{rl}& I(X;Y)⩾0;\\ & I(X;Y)=I(Y;X),I(X;Y\mid Z)=I(Y;X\mid Z)\\ & I(XY;Z)=I(X;Z)+I(Y;Z\mid X)=I(Y;Z)+I(X;Z\mid Y)\end{array}$

Chapter 4 信源与信源编码简介

信源：信息的来源

离散无记忆信源的定长编码：
无记忆信源的输出是一个长为N的iid序列$(x_1,...,x_N)$，$p(x)={\prod }_{i=1}^{N}p\left(x_i\right)$，自信息为$I(x)=-\log p(x)={\sum }_{i=1}^N\left(-\log p\left(x_i\right)\right)={\sum }_{i=1}^{N}I\left(x_i\right)$，根据大数定律，平均自信息$I_N(x)\triangleq \frac{I(x)}{N}=\frac{1}{N}{\sum }_{i=1}^{N}I\left(x_i\right)\to H(X)=-{\sum }_{i=1}^{K}p\left(a_i\right)\log p\left(a_i\right)={\sum }_{i=1}^{K}p\left(a_i\right)I\left(a_i\right)$
从而，无记忆信源的输出相当集中于平均信息量接近X的熵的小部分序列之中。从而，称集合
TX(N,ε)={x=x1⋯xN∣H(X)−ε⩽IN(x)⩽H(X)+ε}T_{X}(N, \varepsilon)=\left\{\boldsymbol{x}=x_{1} \cdots_{x_{N}} \mid H(X)-\varepsilon \leqslant I_{N}(\boldsymbol{x}) \leqslant H(X)+\boldsymbol{\varepsilon}\right\}TX​(N,ε)={x=x1​⋯xN​​∣H(X)−ε⩽IN​(x)⩽H(X)+ε}
为输出长度为 $N$ 的 $\epsilon$ - 典型序列集合，在N趋于无穷时，典型序列的出现概率趋于1.
推论：性质1： 若 $x=x_1{x}_2\cdots x_N\in T_X(N,\epsilon )$, 则
$2^{-N(H(X)+ϵ)}⩽p(\mathbf{x})⩽2^{-N(H(X)-\epsilon )}$，即$p(x)\approx 2^{-NH(x)}.$
推论：性质2：当 $N$ 足够大时, 典型序列数目 $\left|T_X(N,\epsilon )\right|$ 满足
$$(1-\epsilon )\cdot 2^{N(H(X)-\epsilon )}⩽\left|T_X(N,\epsilon )\right|⩽2^{N(H(X)+\epsilon )}\text{, }$$
记忆方法：由于每次取得典型序列的概率趋于1，因此典型序列的数量大约是每个典型序列出现概率的倒数
由此，得到关于无记忆信源的编码定理：
定长编码定理： 设离散无记忆信源 $(S,X)$, 其熵 为 $H(X)$, 被分成长为 $N$ 的源字母组, 并用长为 $M$ 的码字母组进行表示, 其 中, 码字母集 B={b1,b2,⋯ ,bJ}B=\left\{b_{1}, b_{2}, \cdots, b_{J}\right\}B={b1​,b2​,⋯,bJ​}. 则对任给的 $\epsilon >0$ 及 $\delta >0$, 只要 $N$ 足 够大, 且满足不等式
$$\frac{M}{N}\log J>H(X)+\delta ,$$
则源字母组没有自己特定码字的概率 $p_e$ 可以小于 $\epsilon$.
定义：$R=\frac{M}{N}\log J$ 为编码速率或称码率，$\eta =\frac{H(X)}{R}$称为编码效率，通常小于1

离散无记忆信源的变长编码：
字母表：有限集A={a1,...,an}A=\{a_1,...,a_n\}A={a1​,...,an​}，字符串：$A^{\ast }$，在A上的一个编码称为n元码
设 $\mathcal{I}=(S,P)$ 为一个信源, $C$ 为任一码. 称有序对 $(C,f)$ 为一个编码规则, 如果 $f:S\to C$ 为一个单射. 我们称 $f$ 为一个编码函数
在变长情形下，度量编码的好坏需要使用平均码长：
$\mathrm{Avelen}(C,f)={\sum }_{i=1}^{n}p\left(s_i\right)\mathrm{len}\left(f\left(s_i\right)\right)$
唯一可译码：称码 $C$ 为唯一可译码, 如果当 $c_1,\cdots ,c_k,d_1,\cdots ,d_j$ 为 $C$ 中码字, 并且有$c_1\cdots c_k=d_1\cdots d_j$则 $k=j$ 且 $c_i={\mathbf{d}}_i,\forall i$.
前缀码：如果C中任意两个码都不互为前缀，则称为前缀码。特别的，前缀码是一种唯一可译码，而且即时可译
Kraft _McMillan 定理：
(1) 如果 $C$ 为一个 $r$ 元唯一可译码, 其码字长度分别为 $l_1,l_2,\cdots ,l_n$, 则下列 $\mathrm{K}\mathrm{r}\mathrm{a}\mathrm{f}\mathrm{t}$ 不等式必成立:
$$\sum _{k=1}^n\frac{1}{r^{l_k}}⩽1$$
(2) 如果自然数 $l_1,l_2,\cdots ,l_n$ 与 $r$ 满足 $\mathrm{K}\mathrm{r}\mathrm{a}\mathrm{f}\mathrm{t}$ 不等式, 则必存在一个码字长度为 $l_1,l_2,\cdots ,l_n$ 的 $r$ 元前缀码.
最优编码的构造：
编码的最优性度量：
对确定的概率分布 $\left(p_1,p_2,\cdots ,p_n\right)$, $r$ 元前缀码 $\left(c_1,c_2,\cdots ,c_n\right)$ 称为最优编码, 如果Avelen $\left(c_1,c_2,\cdots ,c_n\right)=$ MinAvelen $\left(p_1\cdot p_2,\cdots ,p_n\right)$
编码和r进熵的关系：
r进熵：$H_r\left(p_1,p_2,\cdots ,p_n\right)={\sum }_{i=1}^n{p}_i{\log }_r\frac{1}{p_i}$
定理：设 $C=\left(c_1,c_2,\cdots ,c_n\right)$ 为概率分布 $P=\left(p_1,p_2,\cdots ,p_n\right)$ 下 的一个唯一可译码, 则$H_r⩽\mathrm{Avelen}$
等式成立的充要条件是: $\forall i,\mathrm{len}\left(c_i\right)={\log }_r\frac{1}{p_i}$.
无噪声编码定理：
$H_r⩽\text{ MinAvelen }<H_r+1$
Huffman编码：
编码方法：假设编码符号集为A={a1,...,ar}A=\{a_1,...,a_r\}A={a1​,...,ar​}，信源X={x1,...,xn;p1,...,pn}X=\{x_1,...,x_n;p_1,...,p_n\}X={x1​,...,xn​;p1​,...,pn​}，则第一次合并$n-2\mathrm{m}\mathrm{o}\mathrm{d}(r-1)+2$个编码，之后每次合成$r$个编码即可。每次合成都取当前概率值最少的集合，然后为其在前面添加符号集从前到后的若干个编码
性质：Huffman编码是一种最优编码
推论：$H_r⩽Avglen(\text{Huffman})<H_r+1$
后面的均为二进制编码
Shannon编码：
对于信源：$p_1\ge p_2\ge ...\ge p_n$:
令 $q_k={\sum }_{i=1}^{k-1}{p}_i$. $l_k=\lceil \log p_k\rceil$. 用 $l_k$ 个 bit 来表示 $q_k$：将 $q_k$ 按二进制小数展开到 $l_k$ 位截断
性质：$H_r⩽Avglen(\text{Shannon})<H_r+1$，但不是最优编码
Fano编码：
对于信源：$p_1\ge p_2\ge ...\ge p_n$：每次将每组概率尽可能分成等概率的两个连续组，并且分别赋予0/1，直到每个组都只剩下一个概率为止
性质：$Avglen(\text{Fano})\le H_r+2$，不是最优编码
S-F-E编码：
对于信源：$p_1,p_2,...,p_n$:注意, 我们并没有对信源按概率大小进行排序. 记：
$$\begin{array}{rl}& \bar{F}(k)=\sum _{i<k}p(i)+\frac{1}{2}p(k),1⩽k⩽n,\\ & F(k)=\sum _{i⩽k}p(i),1⩽k⩽n\end{array}$$
为累积概率分布, $\bar{F}(k)<F(k)$,二者均单调增加, 易见
$$\bar{F}(k)⩽F(k)⩽\bar{F}(k+1).$$
$l_k=\lceil \log p_k\rceil +1$. 用 $l_k$ 个 bit 来表示 ${\bar{F}}_k$，即可得到S-F-E编码
性质：$Avglen(\text{S-F-E})\le H_r+2$，不是最优编码
离散平稳信源的编码：
信源{有记忆信源（输出信号序列间不独立）无记忆信源{简单信源（独立同分布序列）其它信源 \{ \begin{aligned}&有记忆信源（输出信号序列间不独立）\\ &无记忆信源 \{\begin{aligned} &简单信源（独立同分布序列）\\ &其它\end{aligned} \end{aligned}信源{​有记忆信源（输出信号序列间不独立）无记忆信源{​简单信源（独立同分布序列）其它​​
平稳信源：
对任意的 $N$, 连续N个信号的概率分布与起点无关, 即$P\left(X_1=x_{i_1},\cdots ,X_N=x_{i_N}\right)=P\left(X_{L+1}=x_{i_1},\cdots ,X_{L+N}=x_{i_N}\right)$
性质1：从任意时间起点出发，得到的序列性质相同
定义信号的平均熵为：$H_N(\mathbf{X})=\frac{1}{N}H\left(X_1,X_2,\cdots ,X_N\right)$
性质2：
(1) $H\left(X_N\mid X_1,\cdots ,X_{N-1}\right)$ 关于N单调减少;
(2) $\forall N,H_N(\mathbf{X})⩾H\left(X_N\mid X_1,\cdots ,X_{N-1}\right)$;
(3) $H_N(\mathbf{X})$ 关于N单调减少;
(4) ${\lim }_{N\to \infty }{H}_N(\mathbf{X})={\lim }_{N\to \infty }H\left(X_N\mid X_1,\cdots ,X_{N-1}\right)$
性质3：根据性质2，以下极限必定存在：
$H_{\infty }(\mathbf{X})={\lim }_{N\to \infty }{H}_N(\mathbf{X})$，$H_{\infty }(\mathbf{X})$称为信源X的熵率
冗余度 ：$\log K-H_{\infty }(\mathbf{X})$,
相对冗余度 ：$1-\frac{H_{\infty }(\mathbf{X})}{\log K}$，$\frac{H(\mathbf{X})}{\log K}$称为熵率.
性质4：对于离散平稳信源 $\left(X_1{X}_2\cdots X_L;p(x)\right)$ 进行 $D$ 元变长编码. $\forall \epsilon >0$, 则 $\exists L(\epsilon )$, 使得当 $L>L(\epsilon )$ 时, 存在唯一可译码, 使得平均每个信源符号所需码字的平均长度满足：
$$\frac{H_{\infty }(\mathbf{X})}{\log D}⩽\bar{n}⩽\frac{H_{\infty }(\mathbf{X})}{\log D}+\epsilon .$$
马尔可夫信源：
马尔可夫序列：$\begin{array}{rl}P(X_{n+1}& =x_{n+1}\mid X_n=x_n,\cdots ,X_1=x_1)\\ & =P\left(X_{n+1}=x_{n+1}\mid X_n=x_n\right)\end{array}$
马尔可夫信源：符号集+状态集：每次发出符号后状态会改变。满足以下条件的信源称为马尔可夫信源：
（1）某一时刻信源符号的输出只与当前的信源状态有关, 而与之前的状态无关, 即$P\left(x_l=a_k\mid u_l=s_j,x_{l-1}=a_k,u_{l-1}=s_i,\cdots \right)=P\left(x_l=a_k\mid u_l=s_j\right)$
(2) 信源状态只由当前输出符号和前一时刻信源状态唯一确定, 即
$P\left(u_l=s_i\mid x_1=a_k,u_{1-1}=s_j\right)=\left\{\begin{array}{l}1\\ 0\end{array}\right\}$
马尔可夫在状态转移矩阵P下的不变分布称为稳态分布。
在给定信源状态 $S=j$ 之下的条件熵为$H(\mathbf{X}\mid S=j)=-{\sum }^K{p}_j\left(a_k\right)\log p_j\left(a_k\right)$
信源熵为：$H=H(\mathbf{X}\mid S)={\sum }_{j=1}^{j}P(S=j)H(\mathbf{X}\mid S=j)$
性质1：马尔可夫信源的熵率：$H_{\infty }(\mathbf{X})=H(\mathbf{X}\mid S)$
性质2：马尔可夫信源的变长编码定理：当用 $J$ 个字母的码字母表对墒率为 $H_{\infty }(\mathbf{X})$ 的离散马尔可夫信源进行变长编码时, 其平均码长 $\bar{l}$ 满 足:
$$\frac{H_{\infty }(\mathbf{X})}{\log J}⩽\bar{l}⩽\frac{H_{\infty }(\mathbf{X})}{\log J}+\frac{1}{N},$$
其中 $N$ 为信源字母分组的长度.