模型中的参数和超参数

最新推荐文章于 2025-12-03 17:46:56 发布

原创最新推荐文章于 2025-12-03 17:46:56 发布 · 4.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #参数 #超参数 #优化

        机器学习中的优化问题可以分为参数优化问题和超参数优化问题。
        在确定了训练集 $D$ 、假设空间 $f$ 以及学习准则后，如何找到最优的模型 $f(x,θ∗)f(x,\theta ^{*})$ 就成了一个最优化问题，模型 $f(x,θ)f(x,\theta)$ 中的参数 $θ\theta$ 称为模型的参数，可以通过优化算法进行学习。除了可以学习的参数 $θ\theta$ 外，还有一类参数用来定义模型结构或者优化策略，这类参数称为超参数 $(h y p e r - p a r a m e t e r)$ 。
        常见的超参数包括：聚类算法中的类别个数、梯度下降法的步长、正则化的系数、神经网络的层数、支持向量机中的核函数等。超参数的选取一般都是组合优化问题，很难通过优化算法来自动学习。因此，超参数优化是机器学习中一个经验性很强的技术，通常是按照个人经验来设定的，或者通过搜索的方法对一组超参数组合进行不断试错调整。此外，在贝叶斯框架下，可以将超参数理解为参数的参数，即控制模型参数分布的参数。