超参数是在学习过程前设定的参数，不同于通过训练得到的普通参数。优化超参数对于提升模型性能至关重要。常见的超参数包括树的数量、矩阵分解的潜在因子、学习率和隐藏层数等。优化超参数通常利用验证集进行，因为测试集不能参与模型选择，以防过拟合。通常将训练数据分为训练集和验证集，通过验证集调整超参数，以减少泛化误差。
一、超参数定义：
超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。和一般的参数比如权重、偏置之类的有差别。
通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
有时一个选项被设为学习算法不用学习的超参数，是因为它太难优化了。更多的情况是，该选项必须是超参数，因为它不适合在训练集上学习。这适用于控制模型容量的所有超参数。如果在训练集上学习超参数，这些超参数总是趋向于最大可能的模型容量，导致过拟合例如，相比低次多项式和正的权重衰减设定，更高次的多项式和权重衰减参数设定 λ = 0 总能在训练集上更好地拟合。
二、超参数的例子：
树的数量或树的深度、矩阵分解中潜在因素的数量、学习率（多种模式）、深层神经网络隐藏层数、k均值聚类中的簇数等。
三、关于超参数的优化：
百度百科中关于超参数写了这样三句话：1、定义关于模型的更高层次的概念，如复杂性或学习能力；2、不能直接从标准模型培训过程中的数据中学习，需要预先定义；3、可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定。
其实讲得差不多是一个意思。但是第3点没有讲清楚，既然机器学习过程中无法训练我们的超参数，那么我们如何优化我们的超参数ÿ
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
