现代机器学习研究进展 第一部分 数学与概率工具箱 第五章 — 度量与分布距离（理论推导）

---

5.1 概念与总体框架

---

5.2 KL 与 JS：定义、性质与基本推导（f-散度）

5.2.1 定义（KL）

5.2.2 f-散度与 JS

使用场景与局限性：KL/JS 在高维、样本稀疏或支持分离时，估计困难或会给出极大/无限值（数值上与训练不稳定性相关），这促使用 Wasserstein / IPM 等度量。

---

5.3 积分概率度量（IPM）与 MMD

5.3.1 IPM 的一般形式