超参数搜索——初始学习率搜索的学习笔记
1 概述
由于南溪只有一块2080Ti,所以暂时不会考虑用强化学习的方法来做~
南溪目前想要学习的超参数搜索算法有:
网格搜索
随机搜索
贝叶斯搜索
粒子群算法
进化算法
遗传算法
(7. 强化学习)
2 网格搜索——Grid Search
网格搜索是我们需要尝试的第一种超参数搜索算法~
算法的思路是这样的,
初始设置:搜索空间[10−6,1][10^{-6},1][10−6,1];
设定初始的搜索种子,(来自原始论文或者默认值);
计算种子的自然指数;
将原始的搜索空间计算对应的自然指数的值域;
原创
2020-09-25 20:27:42 ·
465 阅读 ·
0 评论