现代机器学习研究进展 第一部分 数学与概率工具箱 第六章 — 函数逼近与算子视角

本章专注于数学原理与严格推导：经典逼近论（Stone–Weierstrass）、神经网络的表示能力与逼近率、再生核希尔伯特空间（RKHS）与核岭回归的严格推导、把卷积与注意力解释为算子并做谱分析、谱范数 / SVD 在网络稳健性与紧致性分析中的作用，以及“算子学习”（Neural Operator）与偏微分方程（PDE）/科学 ML 的联系。我们力求把每个重要结论给出清晰的定义、定理与（可读的）证明或证明要点。

---

6.1 经典逼近论：Stone–Weierstrass 与泛函逼近基础

6.1.1 目标与记号

6.1.2 Stone–Weierstrass 定理（陈述）

---

6.2 神经网络的表示能力（Universal Approximation）与逼近率

6.2.1 单隐层网络的通用逼近（Cybenk