16、机器学习泛化能力提升指南

机器学习泛化能力提升指南

1. 引言

当模型展现出一定泛化能力且能够过拟合时，就需要将重点转向最大化泛化能力。以下将介绍提升泛化能力的多种方法。

2. 数据集管理

深度学习中的泛化源于数据的潜在结构。若数据能实现样本间的平滑插值，就能训练出具有泛化能力的深度学习模型；若问题过于嘈杂或本质上是离散的，深度学习可能无法发挥作用。因此，确保使用合适的数据集至关重要，在数据收集上投入更多精力和资金，通常比开发更好的模型能获得更高的投资回报。具体操作如下：
- 确保数据量充足 ：需要对输入 - 输出空间进行密集采样，更多的数据通常能带来更好的模型。有时，起初看似无法解决的问题，在更大的数据集下可能变得可解。
- 减少标注错误 ：可视化输入数据以检查异常情况，并仔细校对标注。
- 清理数据并处理缺失值 ：后续会详细介绍处理方法。
- 进行特征选择 ：若有许多特征且不确定哪些真正有用，可进行特征选择。

提高数据泛化潜力的一个重要方法是特征工程，对于大多数机器学习问题，特征工程是成功的关键要素。

3. 特征工程

特征工程是利用对数据和机器学习算法（这里指神经网络）的了解，在数据输入模型之前对其应用硬编码（非学习）转换，使算法更好地工作。很多情况下，不能期望机器学习模型能从完全任意的数据中学习，数据需要以更利于模型处理的方式呈现。

3.1 示例：读取时钟时间

假设要开发一个能根据时钟图像输出时间的模