【学习笔记】回归算法-岭回归

最新推荐文章于 2024-11-19 22:07:47 发布

weixin_30733003

最新推荐文章于 2024-11-19 22:07:47 发布

阅读量199

点赞数

CC 4.0 BY-SA版权

文章标签：数据结构与算法人工智能

原文链接：http://www.cnblogs.com/zhangfengxian/p/10613545.html

本文介绍了具有L2正则化的线性最小二乘法——岭回归。岭回归是一种改良的最小二乘估计法，通过放弃无偏性来获得更符合实际、更稳定的回归系数。文章详细解释了如何使用Python的sklearn库进行岭回归预测，并与线性回归进行了对比。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

具有L2正则化的线性最小二乘法。岭回归是一种专用于线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。当数据集中存在共线性的时候，岭回归就会有用。

正则化程度的变化，对结果的影响：

sklearn.linear_model.Ridge(alpha=1.0)

具有l2正则化的线性最小二乘法
alpha:正则化力度
coef_:回归系数

使用岭回归预测【学习笔记】回归算法-线性回归中的波斯顿房价的例子：

from sklearn.linear_model import Ridge
...
# 岭回归预测房价
rd = Ridge(alpha=1.0)
rd.fit(x_train, y_train)
print(rd.coef_)
y_rd_predict = std_y.inverse_transform(rd.predict(x_test))
print("岭回归预测的房子价格：", y_rd_predict)
print("岭回归的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_rd_predict))

线性回归 LinearRegression与Ridge对比:岭回归：回归得到的回归系数更符合实际，更可靠。另外，能让估计参数的波动范围变小，变的更稳定。在存在病态数据偏多的研究中有较大的实用价值。

转载于:https://www.cnblogs.com/zhangfengxian/p/10613545.html