Clifnich

这个学期有一门叫做“信息理论与编码”的课程，上课老师是我们学院的副院长，姓华，他不幽默，但是课程内容安排得很有条理，一层一层深入，最后有总结和随堂复习题，3节课下来学到很多。这个星期一的晚上是本学期的第2次课，讲起了entropy（熵），用符号 HH 来表示，及其性质，课后的练习题里来了这么一道题目： 证明: H(X3|X1X2)≤H(X3|X1)

有无记忆有记忆信源就是不独立的，无记忆信源就是独立的，把信息论和概率论结合在一起看这句话，在符号处理上会得到很大的启发。a1,a2a_1, a_2 是两个事件，可以看做两个信源，有记忆、不独立意味着： P(a1a2)=P(a1)P(a2|a1)P(a_1a_2) = P(a_1)P(a_2|a_1)参考概率论的知识；无记忆、独立意味着： P(a1a2)=P(a1)P(a2)P(a_1a_2

离散无记忆信道信息的传播有三个部分：输入通道输入当输入只有3种符号的时候，每一种符号对应一个概率，那么我们就可以把输入分布用表格的形式写出来： X X1X_1 X2X_2 X3X_3 P P1P_1 P2P_2 P3P_3要写输入分布也是同样的套路，把 XX 替换成 YY 即可。信道就是信息传播的通道，我们用一个信道矩阵来表示传播过程。对称的信道矩阵这里的对称与高等代数里面的

编码的基本过程假使我们现在要传输一段英文，为了传输的方便要对其进行编码。英文内容是：I love coding. 要编码首先要想好码符号，最常见的码符号是0和1，把不同的0和1的组合与英文语句的每个字母对应起来，这就是编码的过程。现在规定每个代码长度是4，那我用最简单的方法来编码：0000代表I，0001代表空格，0010代表l，0011代表o …… 写个表格吧，清晰一点： 英文字母 代码

有一种码叫做变长码日常生活里面我们能感受到，有些文字用到次数非常多，比如“好的”，有些文字就用到特别少，比如“逼仄”之类，那么在编码的时候也要略加考虑，经常用的文字，它的编码要尽量短一点，不常用的可以长一点，这就导致了变长码的出现，实际应用中都是使用变长码的，因为它效率高。如何编码才算“好”我们对最佳编码的规定是：平均码长最小。插播一则挺重要的知识，唯一可译码的判别准则在教材126页例5.4.1里面

基本定义我们用 rr 表示输入个数，用 ss 表示输出个数，译码规则可以用 F(yi)=xjF(y_i)=x_j 来表示，根据排列组合，一共有 rsr^s 种规则。译码准则一般都是知道信道矩阵，然后要求设计译码准则，课程要求掌握两种准则，我们一一介绍。最佳后验准则需要写出联合概率矩阵 PXYP_{XY} ，把每一列最大的概率圈出来，这就是对应的译码准则。最大似然译码准则一般后验比较难以实现，所以这个

平均条件互信息这个内容知道一下就行了： I(X;yi)=∑Xp(xi;yj)logp(xi|yj)p(xi)I(X; y_i) = \sum_X p(x_i; y_j) log \dfrac{p(x_i|y_j)}{p(x_i)}这是关于jj的一个方程。平均互信息在我的文章关于熵的一个小证明里面，有这么一张图： 中间的类似交集的地方就是平均互信息。计算方式： I(X;Y)=H(X)+H