岭回归

最新推荐文章于 2024-07-16 23:47:04 发布

菀青

最新推荐文章于 2024-07-16 23:47:04 发布

阅读量3.9k

点赞数 5

分类专栏：数据基础文章标签：岭回归

本文链接：https://blog.youkuaiyun.com/qq_32733847/article/details/100993347

版权

岭回归是解决线性回归中自变量过多或存在多重共线性问题的方法。通过添加L2正则项来调整模型复杂度，防止过拟合。随着λ增大，方差减小，偏差增加。确定λ值可以通过观察回归系数变化或使用交叉验证法。本文介绍了岭回归的原理，包括参数求解、模型选择与实际应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

岭回归

线性回归模型的参数估计公式
在这里插入图片描述得到B的前提是矩阵
可逆。
出现自变量个数多余样本量或者自变量间存在多重共线性，无法根据公式计算回归系数的估计值B。
#行列式等于或近似为0，逆矩阵趋于无穷大，回归系数也放大。

1.参数求解
在线性回归模型的目标函树上添加l2正则项（惩罚项）
在这里插入图片描述
其中\lambda为非负数，当\lambda=0时，该目标函数就退化为线性回归模型的目标函数，当\lambda趋于正无穷时，\lambda\beta^{2}会趋于无穷大，为了使目标函数J(\beta)达到最小，只能通过缩减回归系数使\beta趋于0。
求解目标函数J(\beta)的最小值，需要对其求导，并令导函数为0。
在这里插入图片描述

随着模型复杂度提高，在训练集上的预测效果会越来越好，若将模型运用到测试集，误差会先降低后上升，上升说明出现过拟合，模型复杂度上升，方差上升，平衡方差和偏差来选择一个比较理想的模型。
随着\lambda增大，方差会减少，偏差增大。
根据凸优化的相关知识，将岭回归模型的目标函数J(B)最小化问题等价于：
在这里插入图片描述
在确保残差平方和最小的情况下，限定所有回归系数的平方和不超过常数t。

（1）可视化验证
岭回归模型的系数是关于\lambda的函数，绘制不同的\lambda值和对应的回归系数的折线图确定\lambda值，当回归系数随着\lambda值的增加而趋于稳定时，确定\lambda的值。
根据不同的\lambda确定回归系数。

使用sklearn子模块linear_model中的Ridge：

Ridge(alpha=1.0,fit_intercept=True,
		normalize,copy_X,max_iter,tol,solver,random_state)
#alpha：指定lambda参数
#fit_intercept：拟合截距项
#copy

最低0.47元/天解锁文章