备考通信复试过程中的一些知识点总结梳理——信源编码

信息编码可以简要分为信源编码和信道编码，我们先来介绍信源编码。信源编码的作用就是将输出信号转变为适合于数字通信系统处理和传输的数字信号，主要目的是提高传输的有效性，降低原始信号的冗余度，通常对数据压缩编码。

对于不同的信源，常有不同的压缩准则。

对于离散无记忆信源（DMS）而言，H(X)就是它的压缩极限，只要信源不是等概分布，就有数据压缩的可能（最大熵定理）。

而对于离散有记忆信源而言，其联合熵H(x,y)与其上界H(X)+H(Y)之间的差值反映了该有记忆信源所包含的冗余度。对于离散有记忆信源而言，其压缩的基本途径有四种，一是令各字符的编码长度尽量等于字符的信息量，大概率对应短码，小概率对应长码，也就是信息量越大，字符越长，失真度越小，传输有效性越好；二是去除各分量之间的相关性，再独立编码；三是利用高阶的条件编码；四是联合尽可能多的分量利用联合概率进行编码。就如研究通信调制方式一样，编码之前我们要先明确什么是好的编码。

这里我们提出平均码长和码率概念。平均码长L表示一组消息的编码平均长度，公式为

码率：R=L/n（n为信源扩展次数）

反应数据压缩性能的指标有两个，压缩比和编码效率。压缩比是压缩前每个字符的平均码长与压缩后的比例，编码效率等于编码后的字符平均信息量与编码平均码长的比值。

编码效率为：