22、高级机器学习训练技术：自动模型调优与调试实践

高级机器学习训练技术：自动模型调优与调试实践

在机器学习训练中，超参数的选择对模型性能有着巨大影响。就像混沌理论中，一个微小的超参数变化可能导致模型准确率大幅波动。为了解决选择最优超参数的问题，多年来人们提出了多种技术。

1. 超参数选择技术

• 手动搜索 ：依靠经验和判断选择“最佳”超参数，但在深度学习中，面对大量训练和网络架构参数时效果不佳。
• 网格搜索 ：系统地探索超参数空间，聚焦热点区域并重复该过程。虽比手动搜索好，但通常需要训练数百个任务，时间和成本较高。
• 随机搜索 ：随机选择超参数。James Bergstra和Yoshua Bengio在2012年证明，在相同计算预算下，随机搜索能得到比网格搜索更好的模型。
• 超参数优化（HPO） ：使用优化技术（如贝叶斯优化和高斯过程回归）选择超参数。在相同计算预算下，HPO通常比其他技术少10倍的训练次数就能得到结果。

2. 自动模型调优

SageMaker的自动模型调优功能可让用户轻松探索超参数范围，并通过有限数量的任务快速优化任何训练指标。该功能支持随机搜索和HPO，前者可作为基线，帮助检查后者是否真正表现更优。

调优时，需为每个要优化的超参数定义以下内容：
- 名称 ：超参数的标识。
- 类型 ：参数可以是整数、连续值或分类值。
- <