20、机器学习模型调优与服务的设计模式

机器学习模型调优与服务的设计模式

1. 超参数调优

1.1 超参数调优的原理

超参数调优可看作一个外部优化循环，内部循环是典型的模型训练。对于更复杂的模型，可使用 hp.Choice() 参数尝试不同类型的层，如 BasicLSTMCell 和 BasicRNNCell 。虽然网格搜索和随机搜索比试错法更高效，但对于训练时间长或超参数搜索空间大的模型，成本会迅速增加。

1.2 非线性优化

需要调整的超参数分为两类：与模型架构相关的和与模型训练相关的。模型架构超参数（如层数、每层神经元数量）控制机器学习模型的数学函数；模型训练相关的超参数（如训练轮数、学习率、批量大小）控制训练循环，通常与梯度下降优化器的工作方式有关。总体而言，模型函数相对于这些超参数通常是不可微的。

内部训练循环是可微的，可通过随机梯度下降进行最优参数搜索。但超参数调优问题中的单次试验需要在训练数据集上训练完整模型，可能需要数小时，因此需用适用于不可微问题的非线性优化方法来解决。选择非线性优化方法后，评估指标的选择更广泛，可基于业务目标选择，如最大化预期收入或最小化欺诈损失。

1.3 贝叶斯优化

贝叶斯优化是一种优化黑盒函数的技术，最初由 Jonas Mockus 在 20 世纪 70 年代开发，2012 年首次应用于超参数调优。在超参数调优中，机器学习模型是黑盒函数，训练模型的过程称为调用目标函数。

贝叶斯优化的目标是尽量减少直接训练模型的次数，因为训练成本高。它定义了一个替代函数来模拟模型，该函数输入为超参数值