模型调参

调参方法

1、网格搜索调参

缺点：当参数的取值范围很多，且有多个参数时候，运行速度特别慢，容易造成维度灾难，且对于非凸函数，容易取到局部最优。

2、随机搜索调参

好处：运行速度快

是在限制的迭代次数下对设定的参数的范围内的取值进行随机选取。

缺点：并不能保证选取的参数的取值一定是最优的，且最优参数可能存在变化。

3、贪心调参

每次进入模型的固定参数是上一轮进行遍历，交叉验证后的最佳参数，逐渐增加进入模型的最佳参数，达到一个较优的效果。

缺点：当要调的参数比较多的时候，这种方法比较慢。

4、贝叶斯调参（推荐）

根据给定优化的目标函，通过不断添加样本点来更新后验分布，直到后验分布接近于真实分布。每次的参数调整是依据上一轮的参数的信息。

优点：不断学习上一轮的信息给出优化的参数，减少了迭代次数，速度快。对于非凸问题依然能够找到全局最优。

• 贪心算法 https://www.jianshu.com/p/ab89df9759c8
• 网格调参
• https://blog.youkuaiyun.com/weixin_43172660/article/details/83032029
• 贝叶斯调参 https://blog.youkuaiyun.com/linxid/article/details/81189154