Grid Search简介
跟人聊天时听到Grid Search,一开始还以为误以为是Beam Search了,后来查阅了一下才了解了它的意思。
Grid Search是一种调参的手段,即穷举,穷举所有的超参组合。
当你对决策树调参,如果只对一个超参优化,比如树的最大深度,尝试[3, 5, 7]。那么可以表示为
如果你还想对分裂标准进行调参,分别试试gini和entropy,那么就相当要对2×3=6组参数进行尝试。如下图
所以这就是为什么叫做gird search,网格搜索。grid search是对网格中每个交点进行遍历,从而找到最好的一个组合。网格的维度就是超参的个数。如果有k个超参,每个超参有m个候选,那么我们就要遍历 k m k^m