【AI奇技淫巧】使用Optuna进行机器学习模型调参

Optuna简介

Optuna 是一个使用Python编写的开源的超参数优化框架，它可以自动为机器学习模型找到最佳超参数。最基本的（也可能是众所周知的）替代方案是 sklearn 的 GridSearchCV，它将尝试多种超参数组合并根据交叉验证选择最佳组合。

• GridSearchCV 将在先前定义的空间内尝试组合。例如，对于随机森林分类器，可能想要测试几个不同的树的最大深度。GridSearchCV 会提供每个超参数的所有可能值，并查看所有组合。
• Optuna会在定义的搜索空间中使用自己尝试的历史来确定接下来要尝试的值。它使用的方法是一种称为“Tree-structured Parzen Estimator”的贝叶斯优化算法。

PS: Optuna是一种为自动和加速研究而设计的框架。

这种不同的方法意味着它不是无意义的地尝试每一个值，而是在尝试之前寻找最佳候选者，这样可以节省时间，否则这些时间会花在尝试没有希望的替代品上（并且可能也会产生更好的结果）。

一个极简的Optuna的优化程序只有三个最核心的概念，目标函数（objective）,单次实验（trial）和研究（study），其中objective负责定义待优化函数并指定参数/超参数的范围，trial对应着objective的单次执行，study则负责管理优化，决定优化的方式，总实验的次数、实验结果的记录等功能。