14、模型优化：超参数调优与神经架构搜索

模型优化：超参数调优与神经架构搜索

在机器学习领域，找到最适合特定用例和数据集的模型至关重要。通常，我们首次训练的模型不太可能就是最佳模型，因此需要运用不同的模型优化技术。超参数调优（Hyperparameter Tuning，HPT）和神经架构搜索（Neural Architecture Search，NAS）就是两种常用的模型优化技术。下面将详细介绍 HPT 以及如何在 Google Vertex AI 上设置和启动 HPT 作业。

1. 什么是 HPT 及其重要性

在训练机器学习系统时，主要有三种数据：输入数据、模型参数和模型超参数。输入数据是与待解决问题相关的训练或测试数据；模型参数是在模型训练过程中不断调整以拟合训练数据的变量；而模型超参数则是在训练开始前就固定下来，用于控制训练过程本身的变量，例如学习率、优化器、批量大小、神经网络中的隐藏层数量以及基于树的算法中的最大深度等。

HPT 是一种模型优化技术，其重要性在于机器学习模型的性能在很大程度上取决于训练前选择的超参数。超参数的值会对模型的性能指标（如准确率）、训练时间、偏差、公平性等产生重大影响。不同的数据模式可能需要同一机器学习算法使用完全不同的超参数值才能实现良好的泛化。每个 HPT 作业都有一个关联的目标函数，它会尝试优化（最小化或最大化）该目标函数，并返回能实现最优值的超参数值。这个目标函数可以与模型训练目标（如损失函数）相似，也可以是一个全新的指标。

典型的 HPT 作业会使用不同的超参数集进行多次试验，并返回导致最佳试验的超参数。这里的最佳试验是指优化了与 HPT 作业关联的目标函数的试验。

在进行 HPT 时，需要选择合适的搜索算法来遍历超参数空间。常见的搜索算