现代机器学习研究进展 第一部分 数学与概率工具箱 第一章 概率论与信息论

1 概念回顾：随机变量、条件分布、期望与方差

1.1 符号约定（统一）

1.2 基本恒等式

---

2 信息量：熵、交叉熵、KL 散度 — 定义、性质与证明

2.1 熵（Entropy）

2.2 交叉熵（Cross-entropy）

2.3 Kullback–Leibler 散度（KL）