正则化——“偏差（bias）”与“方差（variance）”

最新推荐文章于 2025-06-02 21:36:53 发布

weixin_30508309

最新推荐文章于 2025-06-02 21:36:53 发布

阅读量840

点赞数

CC 4.0 BY-SA版权

文章标签：数据结构与算法

原文链接：http://www.cnblogs.com/qkloveslife/p/9885500.html

本文探讨了正则化在防止过拟合和欠拟合中的作用，通过调整正则化参数λ，可以在高偏差（欠拟合）和高方差（过拟合）之间找到平衡。介绍了如何使用交叉验证误差来选择最优的λ值，并展示了不同λ值下模型表现的变化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

正则化后的线性回归模型

模型

\[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}\]

\[J\left( \theta \right) = \frac{1}{{2m}}\left[ {\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}} + \lambda \sum\limits_{j = 1}^n {\theta _j^2} } \right]\]

当正则化参数λ很大时

\[{h_\theta }\left( x \right) \approx {\theta _0}\]

这时处于“高偏差（High bias）”（underfit）的情况

当正则化参数很小（λ=0）时

\[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}\]

这时处于“高方差（High variance）”（overfit）

当正则化参数λ适当时

模型处于“Just right”状态

如何选择正确的λ呢？

除了以下两个公式

\[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}\]

再定义

\[\begin{array}{l}
{J_{train}}\left( \theta \right) = \frac{1}{{2{m_{train}}}}\sum\limits_{i = 1}^{{m_{train}}} {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}} \\
{J_{CV}}\left( \theta \right) = \frac{1}{{2{m_{CV}}}}\sum\limits_{i = 1}^{{m_{CV}}} {{{\left( {{h_\theta }\left( {x_{CV}^{\left( i \right)}} \right) - y_{CV}^{\left( i \right)}} \right)}^2}} \\
{J_{test}}\left( \theta \right) = \frac{1}{{2{m_{test}}}}\sum\limits_{i = 1}^{{m_{test}}} {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}}
\end{array}\]