岭回归是针对共线性数据分析的一种改进的最小二乘估计方法，通过添加L2正则项来提高模型的泛化能力和解决线性回归中的不可逆问题。它适用于过拟合或多重共线性的情况，可以判断特征的重要性。文章展示了使用sklearn库中的Ridge和RidgeCV进行模型训练和预测的例子。
需要源码请点赞关注收藏后评论区留言私信~~~
岭回归
岭回归（Ridge Regression）是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价，获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法
岭回归的目标函数在一般的线性回归的基础上加入了L2正则项，在保证最佳拟合误差的同时，使得参数尽可能的“简单”，使得模型的泛化能力强，同时可以解决线性回归中不可逆情况
岭回归算法是在原线性回归模型的损失函数中增加L2正则项
岭回归主要适用于过拟合严重或各变量之间存在多重共线性的情况，它可以解决特征数量比样本量多的问题，另外，岭回归作为一种缩减算法可以判断哪些特征重要或者不重要，有点类似于降维，缩减算法可以看作是对一个模型增加偏差的同时减少方差。但是岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值
欠拟合、过拟合与泛化能力
明
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
