【ee类保研面试】通信类---信息论

25保研er，希望将自己的面试复习分享出来，供大家参考
part0—英语类
part1—通信类
part2—信号类
part3—高数类
part100—self项目准备

---

---

下面是学校期末复习大纲，以此进行复习整理

---

面试复习总纲

1. 一条主线：香农（Shannon）的研究工作解决了通信的两个核心问题：
   • 数据压缩的极限是什么？ (信源编码，对应熵)
   • 可靠传输的速率极限是什么？ (信道编码，对应信道容量)
2. 两大基石：
   • 信源编码定理 (香农第一定理)：回答了第一个问题。
   • 信道编码定理 (香农第二定理)：回答了第二个问题。
3. 核心思想：用概率论和统计方法来量化“信息”，并研究信息处理的极限。

---

Chap2: 熵、相对熵和互信息 (Entropy, Relative Entropy, and Mutual Information)

这是信息论的基石，几乎是必考内容。面试官会从这里开始，判断你的基础是否扎实。

核心问题 1：请谈谈你对“信息熵”的理解。它的物理意义是什么？

• 回答要点:

  1. 定义: 信息熵 $H(X)$ 是对随机变量不确定性的一种度量。一个随机变量的熵越大，它的不确定性就越大，我们从中获取信息时，得到的信息量也就越大。
  2. 数学公式: 对于离散随机变量 $X\sim p(x)$，其信息熵定义为：
     $$H(X)=-\sum _{x\in \mathcal{X}}p(x){\log }_{2}p(x)$$
     • 解释 -log p(x): 这被称为“自信息”（Self-information）。一个事件发生的概率越小，它一旦发生，所提供的信息量就越大。比如，“太阳从东边升起”（p≈1）信息量很小，而“国足勇夺世界杯”（p很小）信息量就巨大。log底取2时，单位是比特（bit）。
     • 解释 Σ 和 p(x): 整个公式是“自信息”的期望值（Average Self-information）。所以，信息熵是平均意义上描述信源不确定性的。
  3. 物理意义/操作性含义:
     • 不确定性度量: 如上所述。
     • 平均编码长度下界: 这是最重要的物理意义。根据香农第一定理，信息熵 $H(X)$ 代表了对该信源进行无损压缩时，每个符号所需要的平均最小比特数。任何无损压缩算法的平均码长都不可能小于信息熵。

• 深入探讨:

  • 性质: 什么时候熵最大？（均匀分布时）。什么时候熵最小？（确定性分布，即某个事件概率为1时，熵为0）。
  • 与物理学中“熵”的联系: 克劳修斯在热力学中提出的熵是描述系统混乱程度的宏观态指标，而玻尔兹曼用 $S=k\ln \Omega$ 将其与微观状态数联系起来。信息熵在形式上和玻尔兹曼熵高度一致，都描述了“状态的不确定性”或“混乱程度”。这是学科交叉的好话题。

• 追问示例:

  • “为什么熵在均匀分布时取得最大值？请直观解释一下。” (因为所有事件可能性都一样，毫无规律可循，不确定性最高。)
  • “联合熵 $H(X,Y)$ 和条件熵 $H(Y|X)$ 是什么？它们之间有什么关系？” (引出链式法则 $H(X,Y)=H(X)+H(Y|X)$，并解释其意义：两个变量的总不确定性 = 第一个变量的不确定性 + 已知第一个变量后，第二个变量的剩余不确定性。)

---

核心问题 2：请解释一下“互信息” (Mutual Information)，并说明它和熵的关系。

• 回答要点:

  1. 定义: 互信息 $I(X;Y)$ 度量了一个随机变量中包含的关于另一个随机变量的信息量。通俗讲，就是知道 Y 之后，对 X 不确定性的消除程度。
  2. 三种等价的数学公式与解释:
     • $I(X;Y)=H(X)-H(X|Y)$
       • 解释: 这是最直观的定义。知道 $Y$ 后，对 $X$ 的不确定性从 $H(X)$ 降为了 $H(X|Y)$，减少的部分就是 $Y$ 带来的关于 $X$ 的信息。
     • $I(X;Y)=H(Y)-H(Y|X)$
       • 解释: 互信息是对称的。知道 $X$ 对 $Y$ 不确定性的消除程度，等于知道 $Y$ 对 $X$ 不确定性的消除程度。
     • $I(X;Y)=H(X)+H(Y)-H(X,Y)$
       • 解释: 这可以类比集合论中的韦恩图（Venn Diagram）。把 $H(X)$ 和 $H(Y)$ 看作两个集合， H ( X , Y ) H(X,Y)