7、学习中可实现的可证明保证究竟是什么

学习中可实现的可证明保证究竟是什么

在机器学习系统的发展中，要满足安全和性能的双重要求，需要全新的设计和实现方法。接下来，我们将探讨新方法需要应对的挑战，以及相应的方法论。

新方法需应对的挑战

新方法需要应对的挑战主要来自以下三个方面：
1. 不确定性 ：在机器学习里，不确定性通常分为不可约的偶然不确定性和理论上可约的认知不确定性。为解释这一点，我们对泛化性概念进行了形式化。泛化性要求神经网络在数据域 $X$ 的所有可能输入上都能良好运行，即便它仅在训练数据集 $(X, Y)$ 上进行训练。
- 泛化误差分解 ：网络 $N$ 的泛化误差 $G_{N}^{0 - 1}$ 可分解为：
[
G_{N}^{0 - 1} = \left(G_{N}^{0 - 1} - \inf_{N \in \mathcal{N}} G_{N}^{0 - 1}\right) + \left(\inf_{N \in \mathcal{N}} G_{N}^{0 - 1} - G_{f,(X,Y)}^{0 - 1, }\right) + G_{f,(X,Y)}^{0 - 1, }
]
其中：
- 估计误差 ：衡量学习到的分类器 $N$ 与 $\mathcal{N}$ 中最佳分类器的差距，模型训练阶段的生命周期活动旨在减少此误差。
- 近似误差 ：衡量 $\mathcal{N}$ 中最佳分类器与整体最优分类器（排除贝叶斯误差后）的差距，模型构建阶段的活动用于最小化此误差。