22、当模型遇见数据：机器学习中的风险最小化与泛化评估

当模型遇见数据：机器学习中的风险最小化与泛化评估

在机器学习领域，一个好的预测器不仅要在训练数据上表现出色，更要在未见过的数据上有良好的性能。为了实现这一目标，我们需要平衡对训练数据的拟合程度和对现象的“简单”解释。接下来，我们将深入探讨机器学习中的几种方法，重点关注经验风险最小化。

1. 机器学习的关键概念

在机器学习中，有几个关键概念需要我们理解：
- 溯因推理（Abduction） ：这是一种既非归纳也非演绎的推理过程，被定义为寻找最佳解释的推理过程。在机器学习中，我们常常需要在拟合训练数据和找到简单解释之间进行权衡，这与溯因推理的思想相符。
- 超参数（Hyperparameter） ：例如选择模型组件的数量，这些选择会显著影响模型的性能。模型选择就是在不同模型之间进行选择的问题，对于非概率模型，通常使用嵌套交叉验证来进行模型选择。
- 机器学习的三种方法 ：经验风险最小化、最大似然原理和概率建模。

2. 经验风险最小化

经验风险最小化的核心思想是基于训练数据估计参数。在这部分，我们主要考虑预测器是函数的情况，它有四个主要的设计选择：
- 允许预测器采用的函数集
- 如何衡量预测器在训练数据上的性能
- 如何仅从训练数据构建在未见过的测试数据上表现良好的预测器
- **在模型空间中进行搜索的过程

2.1 函数的假设类

<