机器学习全套教程（十六）-- 线性回归的改进-岭回归

最新推荐文章于 2024-09-22 23:23:52 发布

原创最新推荐文章于 2024-09-22 23:23:52 发布 · 479 阅读

5 ·

CC 4.0 BY-SA版权

python 同时被 3 个专栏收录

100 篇文章

订阅专栏

数据分析

47 篇文章

订阅专栏

机器学习

21 篇文章

订阅专栏

本文介绍了岭回归作为线性回归的改进版，重点讨论了L2正则化的概念和作用。通过观察不同正则化程度对结果的影响，展示在波士顿房价预测中的应用。岭回归API包括sklearn.linear_model.Ridge和RidgeCV，强调了正则化参数alpha和其对权重的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python爬虫人工智能教程：www.python88.cn

编程资源网：www.python66.cn

线性回归的改进-岭回归

学习目标

目标
- 说明岭回归的原理即与线性回归的不同之处
- 说明正则化对于权重参数的影响
- 说明L1和L2正则化的区别
应用
- 波士顿房价预测

1、带有L2正则化的线性回归-岭回归

岭回归，其实也是一种线性回归。只不过在算法建立回归方程时候，加上正则化的限制，从而达到解决过拟合的效果

1.1 API

sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", normalize=False)
- 具有l2正则化的线性回归
- alpha:正则化力度，也叫 λ
  - λ取值：0~1 1~10
- solver:会根据数据自动选择优化方法
  - sag:如果数据集、特征都比较大，选择该随机梯度下降优化
- normalize:数据是否进行标准化
  - normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
- Ridge.coef_:回归权重
- Ridge.intercept_:回归偏置

All last four solvers support both dense and sparse data. However,
only 'sag' supports sparse input when `fit_intercept` is True.

Ridge方法相当于SGDRegressor(penalty='l2', loss="squared_loss"),只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)

sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
- 具有l2正则化的线性回归，可以进行交叉验证
- coef_:回归系数

class _BaseRidgeCV(LinearModel):
    def __init__(self, alphas=(0.1, 1.0, 10.0),
                 fit_intercept=True, normalize=False, scoring=None,
                 cv=None, gcv_mode=None,
                 store_cv_values=False):

1.2 观察正则化程度的变化，对结果的影响？

正则化力度

正则化力度越大，权重系数会越小
正则化力度越小，权重系数会越大

1.3 波士顿房价预测

rd = Ridge(alpha=1.0)

rd.fit(x_train, y_train)
print("岭回归的权重参数为：", rd.coef_)

y_rd_predict = std_y.inverse_transform(rd.predict(x_test))

print("岭回归的预测的结果为：", y_rd_predict)


print("岭回归的均方误差为：", mean_squared_error(y_test, y_rd_predict))