机器学习中的超参数和模型参数

什么是参数？

参数作为模型从历史训练数据中学到的一部分，是机器学习算法的关键。

统计学中的“参数”：

在统计学中，你可以假设一个变量的分布，比如高斯分布。高斯分布的两个参数分别是平均值和标准差。这在机器学习中是有效的，其中这些参数可以用数据估计得到并用作预测模型的一部分。

编程中的“参数”：

编程中可以将参数传递给函数。在这种情况下，参数是一个函数参数，可以有一个取值范围。在机器学习中，您正在使用的具体模型就是函数，需要参数才能对新数据进行预测。

“参数”和“模型”有什么关系？

简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。
具体来说， 模型参数具有以下特征：

• 进行模型预测时需要模型参数；
• 模型参数之可以定义模型功能；
• 模型参数用数据估计或数据学习得到；
• 模型参数一般不由实践者手动设置；
• 模型参数通常作为学习模型的一部分保存。
  通常使用优化算法估计模型参数，优化算法是对参数的可能性进行的一种有效搜索。
• 模型参数的一些例子包括：
• 人造神经网络中的权重；
• 支持向量机中的支持向量；
  +线性回归或逻辑回归中的系数；

什么是模型超参数？

模型超参数是模型外部的配置，其值不能从数据估计得到。
具体特征有：

• 模型超参数常应用于估计模型参数的过程中；
• 模型超参数通常由实践者直接指定；
• 模型超参数通常可以使用启发式方法来设置；
• 模型超参数通常根据给定的预测建模问题而调整；
  怎样得到它的最优值： 对于给定的问题，我们无法知道模型超参数的最优值。但是我们可以使用经验法则来探究其最优值，或复制用于其他问题的值，也可以通过反复试验的方法。

模型超参数的一些例子包括：

• 训练神经网络的学习速率；
• 支持向量机的C和Sigma超参数；
• KNN问题中的K；
• “模型参数”和“模型超参数”

两者的联系：

当针对特定问题调整机器学习算法时，例如使用网络搜索或随机搜索时，你将调整模型或命令的超参数，以发现一个可以使模型预测最熟练的模型参数。许多模型中重要的参数无法直接从数据中估计得到，例如KNN。这种类型的模型参数被成为调整参数，因为没有可用的分析公式来为其计算一个合适的值。

如果你必须手动指定一个“模型参数”，那么它可能就是一个模型超参数。

如何找到模型最优时的参数？

网格搜索和交叉验证的方法

总结

模型参数是从数据中自动估计的，而模型超参数是手动设置的，并用于估计模型参数的过程。