现代机器学习研究进展 第二部分 模型与架构 第17章：模型压缩与结构化稀疏 —— 原理推导

本章聚焦模型压缩的数学原理与证明：包括剪枝（结构化/非结构化）、蒸馏、量化（理论与近似误差）、低秩近似与张量分解（SVD、Tucker、Tensor-Train）、以及将这些方法与推理性能（延迟/能耗）联系起来的工程化成本模型与测量方法。

---

17.1 概览与形式化目标

---

17.2 剪枝（Pruning）：从 L0_00​ 最优化到近似算法

17.2.1 问题建模：掩码变量与 L0_00​ 最小化

---

17.2.2 非结构化幅值剪枝（magnitude pruning）：动机与松弛解释

常见启发式：按权重幅值 ∣θi∣|\theta_i|∣θi​∣ 从小