17、机器学习的基础与通用工作流程

机器学习的基础与通用工作流程

1. 机器学习基础

在神经网络中，最大化泛化能力并防止过拟合有以下几种常见方法：
- 获取更多或更好的训练数据。
- 开发更好的特征。
- 降低模型的容量。
- 添加权重正则化（适用于较小的模型）。
- 添加 dropout。

1.1 机器学习模型的目的

机器学习模型的目的是实现泛化，即在从未见过的输入上准确执行任务，但这比看起来要困难。深度神经网络通过学习一个参数化模型来实现泛化，该模型可以在训练样本之间进行成功的插值，这样的模型可以说是学习到了训练数据的“潜在流形”。这就是为什么深度学习模型只能理解与训练期间所见非常接近的输入。

1.2 机器学习的基本问题

机器学习的基本问题是优化和泛化之间的矛盾。为了实现泛化，首先必须对训练数据有良好的拟合，但过一段时间后，改善模型对训练数据的拟合必然会开始损害泛化能力。每一个深度学习的最佳实践都在处理这种矛盾。

1.3 评估模型泛化能力

在开发模型时，能够准确评估模型的泛化能力至关重要。可以使用一系列评估方法，从简单的留出验证到 K 折交叉验证以及带洗牌的迭代 K 折交叉验证。始终要保留一个完全独立的测试集用于最终的模型评估，因为验证数据到模型的信息泄露可能已经发生。

1.4 模型开发过程

• 初始阶段 ：当开始处理一个模型时，目标是首先实现一个具有一定泛化能力且可能过拟合的模型。最佳实践包括调整学习率和批量大小、利用更好的架构先验、增加模型容量或简单地延长训练时间。