信息论基础（考试复习，针对考点）

第一章绪论

1．通信系统模型；

2．香农信息的概念；

香农信息定义：信息是事物 运动状态或存在方式的不确 定性的描述。

3．信源、信道、信源编码研究的核心问题。

信源：产生消息和消息序列的源。
信道：信号由发送端传输到接收端的媒介。
信源编码的核心问题：哪种编码效率最高（单位时间内传输的消息更多）。

第二章离散信源及信源熵

1．离散信息量、联合信息量、条件信息量、互信息量定义；









6．作业：p66：2，4，5，8。

2.同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？


4…居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?







7．本章讲过的例题；

第三章 离散信源的信源编码

6．作业：p196：3，p197：8，p304：1；p306：11（1）（3）；
3、有一信源,它有六个可能的输出,其概率分布如表5.7所示,表中给出工对应的码A,B.C.D.E.和F.


8、


1

11（1）（3）




上面求编码效率是错误的！！！
应该采取下面解法！！！

7．本章讲过的例题；

第四章 离散信道容量

1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；

2．作业：p121：1，3；p122：11，12；

3．本章讲过的例题；