香农三大定理

一，香农第一定理（无失真信源编码定理，可变长无失真信源编码定理）

香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

二，香农第二定理（有噪信道编码定理）

当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

信道容量是指：在无失真的情况下，信道的最大传输速率是多少？

香农给出了答案

最佳不等长编码：（1）香农编码（2）哈夫曼编码

三，香农第三定理（保失真度准则下的有失真信源编码定理）