normal linear model

这篇博客探讨了正则化线性模型,包括岭回归、套索回归和弹性网络。岭回归通过L2范数正则化减少过拟合,而套索回归利用L1范数实现特征选择。弹性网络结合两者优点。文中还介绍了SGDRegressor参数,如penalty、l1_ratio和learning_rate,并提到了早期停止法作为正则化策略。

正则化线性模型

线性模型减少过度拟合的方法之一对模型正则化,它拥有的自由度越低,就越不容易过度拟合数据,比如将多项式模型正则化的简单方法降低多项式的阶数。比如将多项式正则化的简单化方法就是降低多项式的阶数。 【 正则化:约束它】

而对线性模型来说,正则化通常通过约束模型的权重来实现的

岭回归

岭回归是线性模型的正则化版本,在成本函数中增加一个α∑i=1nθi2\alpha\sum_{i=1}^n\theta_i^2αi=1nθi2可以看做是θ\thetaθ的L2f范数的平方。正则惩罚项只能在训练的时候添加到成本函数中,一旦训练完成需要使用未经正则化的性能来评估模型性能。
超参数α\alphaα用来控制正则化的程度,如果α\alphaα非常的大,那么权重参数将会非常的小,十分的接近零。
岭回归的成本函数为:
J(θ)=MSE(θ)+α12∑i=1nθi2 J(\theta) = MSE(\theta) + \alpha\frac{1}{2}\sum_{i=1}^n\theta_i^2 J(θ)=MSE(θ)+α21i=1nθi2
按照之前的推导公式先求释然函数,再利用最小二乘法可以很容易的推导出MSE的批量梯度下降公式为:
∇θMSE(θ)=2mXT⋅(X⋅θ−y)+αW \begin{aligned} \nabla_\theta MSE(\theta) = \frac{2}{m}X^T\cdot(X \cdot \theta - y)+\alpha W \end{aligned} θMSE(θ)=m2XT(Xθ<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值