神经网络调参

神经网络的一些调参方法小结
1、网格搜索法
网格搜索就是将多个参数进行笛卡尔乘积后逐个试验，很费时间。
sklearn库有GridSearchCV函数，结合了交叉验证，我还没在神经网络上应用过。

2、逐个调参
用枚举的方法逐个参数调优，一个参数取最佳值后固定住再进行下一个参数调优，比网格搜索快一些。不过可能有一些参数各自不是最佳值，但组合起来有更好的效果，这种方法就遗漏了这种情况。

以下方法摘自机器之心
https://www.jiqizhixin.com/articles/2018-10-31-24

3、随机搜索法
随机搜索首先为每类超参数定义一个边缘分布，通常取均匀分布，然后在这些参数上采样进行搜索。
随机搜索虽然有随机因素导致搜索结果可能特别差，但是也可能效果特别好。总体来说效率比网格搜索更高，但是不保证一定能找到比较好的超参数。
论文：Random Search for Hyper-Parameter Optimization

4、贝叶斯优化
（之后整理）