本文探讨了在机器学习中如何通过岭回归和LASSO回归解决过拟合问题，分别介绍了它们的原理、正则化项形式，以及在多项式回归中的应用实例。重点对比了两者在模型形状、特征选择上的区别：岭回归得到弯曲模型，LASSO回归倾向于线性。
模型正则化
为了解决机器学习中方差过大问题，常用的手段是模型正则化，其原理是限制多项式模型中特征系数 θ \theta θ，不让其过大，导致过拟合。
在线性回归模型中，目标是使得损失函数尽可能小
J ( θ ) = ∑ i = 1 m ( y ( i ) − θ 0 − θ 1 X 1 ( i ) − … … − θ n X n ( i ) ) 2 J(\theta)=\sum_{i=1}^m (y^{(i)}-\theta_0-\theta_1X^{(i)}_1-……-\theta_nX_n^{(i)})^2 J(θ)=i=1∑m(y(i)−θ0−θ1X1(i)−……−θnXn(i))2
当模型过拟合时， θ \theta θ就会非常大，当损失函数 J ( θ ) J(\theta) J(θ)加上
α 1 2 ∑ i = 1 n θ i 2 \alpha \frac{1}{2} \sum_{i=1}^n \theta^2_i α21<
最低0.47元/天 解锁文章
扫一扫
985
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
