【回归算法】Ridge回归详解

logistic回归、lasso回归、ridge回归、Elastic Net回归之间的总结 回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。 阅读详情

Ridge回归(岭回归)详解

本内容专为本科生、研究生梳理,用通俗的语言讲解Ridge回归的核心原理、算法流程、实战案例及模型选型,同时明确其与Lasso、ElasticNet回归的核心区别,兼顾理论理解与代码落地,是学习正则化线性回归的核心内容。

Ridge回归是带L2正则化的线性回归算法,也是经典的有偏估计回归方法,核心作用是解决线性回归中的多重共线性问题,并通过限制回归系数的大小防止模型过拟合,提升泛化能力。它与Lasso回归是正则化线性回归的两大基础,二者的核心区别在于正则化方式:

  • Lasso回归:加L1正则化,将部分系数压缩为0,实现特征选择;
  • Ridge回归:加L2正则化,仅将系数缩小但不会为0,保留所有特征,实现参数缩减。
    二者结合可形成ElasticNet(弹性网)回归,兼顾特征选择和多重共线性处理。

一、为什么需要Ridge回归?

Ridge回归是为了解决标准线性回归的固有痛点而提出的,要理解其价值,首先要明确标准线性回归的问题所在:

1. 标准线性回归的痛点:多重共线性

线性回归是通过拟合自变量与因变量的线性关系做预测,但在实际场景中,自变量(特征)之间往往存在高度相关的情况,这一现象称为多重共线性(比如“房屋面积”和“户型大小”、“身高”和“体重”)。

多重共线性会导致两个严重问题:

  • 模型对训练数据过于敏感,容易出现过拟合,在新数据上的预测效果极差;
  • 回归系数的估计值变得不稳定,微小的训练数据变化就会导致系数大幅波动,模型缺乏稳健性。

2. Ridge回归的核心解决思路

Ridge回归在标准线性回归的损失函数中加入L2正则化惩罚项,通过限制所有回归系数的平方和来约束系数的大小:

  • 不会让单个系数过大,避免模型过度拟合某几个特征;
  • 缓解多重共线性带来的系数不稳定性,让模型更稳健。

简单来说,Ridge回归就是给标准线性回归加了一层“系数约束”,是增强版的线性回归,既保留了线性回归的简单高效,又解决了其在多重共线性场景下的失效问题。

二、Ridge回归的理论基础

Ridge回归的理论建立在标准线性回归之上,核心是带L2正则化的损失函数推导与求解,本部分从问题定义、目标函数、公式推导到算法流程逐步讲解,符号定义清晰,适合本、研究生理解核心原理。

1. 问题定义(标准线性回归)

给定训练样本集{(xi,yi)}i=1n\{(x_{i}, y_{i})\}_{i=1}^{n}{(xi​,yi​)}i=1n​,其中:

  • nnn:样本总数;
  • xi∈Rpx_{i} \in \mathbb{R}^{p}xi​∈Rp:第iii个样本的ppp维输入特征向量;
  • yi∈Ry_{i} \in \mathbb{R}yi​∈R:第iii个样本的目标值(因变量);
  • β∈Rp\beta \in \mathbb{R}^{p}β∈Rp:ppp维回归系数向量(待求解)。

标准线性回归的模型为y^=Xβ\hat{y}=X \betay^​=Xβ(XXX为n×pn×pn×p的特征矩阵,y^\hat{y}y^​为预测值向量),其目标是最小化均方误差损失函数:
J(β)=∑i=1n(yi−xiTβ)2J(\beta)=\sum_{i=1}^{n}\left(y_{i}-x_{i}^{T} \beta\right)^{2}J(β)=i=1∑n​(yi​−xiT​β)2

2. Ridge回归的目标函数

Ridge回归在标准线性回归的损失函数中,加入L2正则化惩罚项,最终的优化目标为:
J(β)=∑i=1n(yi−xiTβ)2+λ∑j=1pβj2J(\beta)=\sum_{i=1}^{n}\left(y_{i}-x_{i}^{T} \beta\right)^{2}+\lambda \sum_{j=1}^{p} \beta_{j}^{2}J(β)=i=1∑n​(yi​−xiT​β)2+λj=1∑p​βj2​
其中:

  • βj\beta_jβj​:第jjj个特征对应的回归系数;
  • λ≥0\lambda \geq 0λ≥0:正则化参数(核心超参数),控制惩罚项的权重:
    • λ=0\lambda=0λ=0:惩罚项失效,Ridge回归退化为标准线性回归;
    • λ\lambdaλ越大:惩罚力度越强,回归系数被压缩得越小,模型越简单,防止过拟合效果越好;
    • λ\lambdaλ越小:惩罚力度越弱,系数越接近标准线性回归的结果,模型拟合能力越强但易过拟合。

3. 目标函数的矩阵形式推导

为了方便求解,将损失函数转化为矩阵形式(本、研究生需掌握的核心推导):
J(β)=(y−Xβ)T(y−Xβ)+λβTβJ(\beta)=(y-X \beta)^{T}(y-X \beta)+\lambda \beta^{T} \betaJ(β)=(y−Xβ)T(y−Xβ)+λβTβ
其中:

  • yyy:n×1n×1n×1的目标值向量;
  • XXX:n×pn×pn×p的特征矩阵;
  • β\betaβ:p×1p×1p×1的回归系数向量;
  • 上标TTT:表示矩阵的转置。

将矩阵形式展开并简化,得到:
J(β)=yTy−2yTXβ+βTXTXβ+λβTβJ(\beta )=y^{T}y-2y^{T}X\beta +\beta ^{T}X^{T}X\beta +\lambda \beta ^{T}\betaJ(β)=yTy−2yTXβ+βTXTXβ+λβTβ

4. 梯度计算与最优解求解

Ridge回归的损失函数是凸函数,存在唯一最优解,通过对回归系数β\betaβ求偏导并令导数为0即可求解。

(1)梯度计算

对J(β)J(\beta)J(β)关于β\betaβ求偏导:
∂J(β)∂β=−2XTy+2XTXβ+2λβ=0\frac{\partial J(\beta)}{\partial \beta}=-2 X^{T} y+2 X^{T} X \beta+2 \lambda \beta=0∂β∂J(β)​=−2XTy+2XTXβ+2λβ=0
两边同时除以2,简化得到:
XTXβ+λβ=XTyX^{T} X \beta+\lambda \beta=X^{T} yXTXβ+λβ=XTy

(2)求解回归系数β\betaβ

将上式整理为矩阵方程形式,提取公因子β\betaβ:
(XTX+λI)β=XTy\left(X^{T} X+\lambda I\right) \beta=X^{T} y(XTX+λI)β=XTy
其中III为p×pp×pp×p的单位矩阵,作用是保证XTX+λIX^TX+\lambda IXTX+λI为满秩矩阵,避免无法求逆。

最终通过矩阵求逆得到回归系数的最优解:
β=(XTX+λI)−1XTy\beta=\left(X^{T} X+\lambda I\right)^{-1} X^{T} yβ=(XTX+λI)−1XTy
这是Ridge回归的核心解,也是其与标准线性回归的核心区别(标准线性回归的解为β=(XTX)−1XTy\beta=(X^TX)^{-1}X^Tyβ=(XTX)−1XTy)。

5. 简单计算例子(辅助理解)

通过一个简单的数值例子,直观感受Ridge回归的系数求解过程:
已知:

  • 特征矩阵X=[123456]X=\begin{bmatrix}1 & 2 \\ 3 & 4 \\ 5 & 6\end{bmatrix}X=​135​246​​(3×23×23×2);
  • 目标值向量y=[123]y=\begin{bmatrix}1 \\ 2 \\ 3\end{bmatrix}y=​123​​(3×13×13×1);
  • 正则化参数λ=1\lambda=1λ=1。

计算步骤:

  1. 计算XTX=[35444456]X^TX=\begin{bmatrix}35 & 44 \\ 44 & 56\end{bmatrix}XTX=[3544​4456​],XTy=[2228]X^Ty=\begin{bmatrix}22 \\ 28\end{bmatrix}XTy=[2228​];
  2. 计算λI=[1001]\lambda I=\begin{bmatrix}1 & 0 \\ 0 & 1\end{bmatrix}λI=[10​01​];
  3. 计算XTX+λI=[36444457]X^TX+\lambda I=\begin{bmatrix}36 & 44 \\ 44 & 57\end{bmatrix}XTX+λI=[3644​4457​];
  4. 对上述矩阵求逆,再与XTyX^TyXTy相乘,得到回归系数β\betaβ。

6. Ridge回归的标准算法流程

结合上述推导,Ridge回归的算法流程固定,本、研究生可按此流程手动实现,步骤如下:

  1. 准备数据:构建特征矩阵XXX(n×pn×pn×p)和目标值向量yyy(n×1n×1n×1),完成数据预处理(如标准化);
  2. 选择正则化参数:根据业务场景或交叉验证确定合适的λ\lambdaλ值;
  3. 计算核心矩阵:求解XTXX^TXXTX和XTyX^TyXTy;
  4. 添加正则化项:计算XTX+λIX^TX+\lambda IXTX+λI(III为单位矩阵);
  5. 求解回归系数:通过矩阵求逆计算β=(XTX+λI)−1XTy\beta=(X^TX+\lambda I)^{-1}X^Tyβ=(XTX+λI)−1XTy;
  6. 模型预测:利用求解得到的β\betaβ,通过y^=Xtestβ\hat{y}=X_{test}\betay^​=Xtest​β对测试集做预测。

三、Ridge回归实战案例:加州房价预测

以加利福尼亚房价数据集为实战对象,用Python+Scikit-learn实现Ridge回归的全流程,包括数据加载、标准化、超参数调优、模型训练、评估、可视化,并与Lasso、ElasticNet回归做性能对比,代码可直接运行,适合本、研究生动手实践。

1. 数据集介绍

加利福尼亚房价数据集是机器学习回归任务的经典数据集,基于1990年加州人口普查数据构建,核心信息:

  • 样本数量:20640条;
  • 特征数量:8个连续型特征;
  • 目标变量:MedHouseVal(街区房价中位数,单位:美元)。

8个特征说明:

  1. MedInc:街区中位收入;
  2. HouseAge:街区房屋中位年龄;
  3. AveRooms:每户平均房间数;
  4. AveBedrms:每户平均卧室数;
  5. Population:街区人口总数;
  6. AveOccup:每户平均居住人数;
  7. Latitude:街区纬度;
  8. Longitude:街区经度。

2. 实战完整代码(含详细注释)

# 导入所需库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 导入数据集、模型、评估指标、数据处理工具
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge, Lasso, ElasticNet
from sklearn.metrics import mean_squared_error, r2_score

# ===================== 步骤1:加载并查看数据集 =====================
california = fetch_california_housing()
# 转换为DataFrame,方便查看和处理
X = pd.DataFrame(california.data, columns=california.feature_names)
y = california.target  # 目标变量:房价中位数
# 查看数据基本信息
print("数据集特征:\n", X.columns.tolist())
print("数据集形状(样本数×特征数):", X.shape)
print("数据前5行:\n", X.head())

# ===================== 步骤2:数据预处理 - 标准化 =====================
# 关键:线性回归类模型对特征量纲敏感,必须做标准化(消除量纲影响)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # 对特征做标准化

# 划分训练集(80%)和测试集(20%),random_state保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(
    X_scaled, y, test_size=0.2, random_state=42
)

# ===================== 步骤3:超参数调优 - 网格搜索+5折交叉验证 =====================
# 定义正则化参数alpha(即理论中的λ)的搜索范围:10^-4 到 10^4,取50个对数间距值
alphas = np.logspace(-4, 4, 50)
# 初始化Ridge回归模型
ridge = Ridge()
# 网格搜索:cv=5表示5折交叉验证,scoring用负均方误差(sklearn默认评分越高越好)
grid_search = GridSearchCV(
    estimator=ridge,
    param_grid={'alpha': alphas},
    cv=5,
    scoring='neg_mean_squared_error'
)
grid_search.fit(X_train, y_train)  # 在训练集上训练并调优

# 输出最优超参数和最优模型
best_alpha = grid_search.best_params_['alpha']
best_ridge = grid_search.best_estimator_
print(f"\nRidge回归最优正则化参数alpha(λ) = {best_alpha:.6f}")

# ===================== 步骤4:模型预测与性能评估 =====================
# 对训练集和测试集做预测
y_train_pred = best_ridge.predict(X_train)
y_test_pred = best_ridge.predict(X_test)

# 计算评估指标:均方误差(MSE,越小越好)、R2分数(越接近1,拟合效果越好)
train_mse = mean_squared_error(y_train, y_train_pred)
test_mse = mean_squared_error(y_test, y_test_pred)
train_r2 = r2_score(y_train, y_train_pred)
test_r2 = r2_score(y_test, y_test_pred)

# 输出评估结果
print(f"\nRidge回归 - 训练集均方误差: {train_mse:.4f}")
print(f"Ridge回归 - 测试集均方误差: {test_mse:.4f}")
print(f"Ridge回归 - 训练集R2分数: {train_r2:.4f}")
print(f"Ridge回归 - 测试集R2分数: {test_r2:.4f}")

# ===================== 步骤5:结果可视化 =====================
# 可视化1:真实值 vs 预测值(训练集+测试集)
plt.figure(figsize=(10, 6))
plt.scatter(y_train, y_train_pred, label='训练集', alpha=0.7, color='deepskyblue')
plt.scatter(y_test, y_test_pred, label='测试集', alpha=0.7, color='orange')
# 红色虚线:完美拟合线(真实值=预测值)
plt.plot([min(y), max(y)], [min(y), max(y)], 'r--', lw=2)
plt.xlabel('真实房价', fontsize=14)
plt.ylabel('预测房价', fontsize=14)
plt.title('Ridge回归:真实值 vs 预测值', fontsize=16)
plt.legend(fontsize=12)
plt.tight_layout()
plt.show()

# 可视化2:Ridge回归特征重要性(回归系数大小反映特征重要性)
coefs = pd.Series(best_ridge.coef_, index=california.feature_names)
plt.figure(figsize=(10, 6))
coefs.sort_values().plot(kind='barh', color='lightseagreen')
plt.xlabel('回归系数', fontsize=14)
plt.ylabel('特征', fontsize=14)
plt.title('Ridge回归:特征重要性分析', fontsize=16)
plt.tight_layout()
plt.show()

# ===================== 步骤6:与Lasso、ElasticNet回归做性能对比 =====================
# 1. Lasso回归调优与训练
lasso = Lasso()
grid_search_lasso = GridSearchCV(lasso, {'alpha': alphas}, cv=5, scoring='neg_mean_squared_error')
grid_search_lasso.fit(X_train, y_train)
best_lasso = grid_search_lasso.best_estimator_

# 2. ElasticNet回归调优与训练(需调两个参数:alpha和l1_ratio)
param_grid_en = {'alpha': alphas, 'l1_ratio': np.linspace(0, 1, 10)}
elasticnet = ElasticNet()
grid_search_en = GridSearchCV(elasticnet, param_grid_en, cv=5, scoring='neg_mean_squared_error')
grid_search_en.fit(X_train, y_train)
best_elasticnet = grid_search_en.best_estimator_

# 3. 批量评估三个模型的测试集性能
models = {'Ridge回归': best_ridge, 'Lasso回归': best_lasso, 'ElasticNet回归': best_elasticnet}
print("\n========== 三种正则化回归模型性能对比(测试集)==========")
for name, model in models.items():
    y_pred = model.predict(X_test)
    mse = mean_squared_error(y_test, y_pred)
    r2 = r2_score(y_test, y_pred)
    print(f"{name} - 均方误差(MSE):{mse:.4f},R2分数:{r2:.4f}")

3. 实战关键注意点

  1. 特征标准化是必做步骤:Ridge回归的L2正则化对特征量纲高度敏感,若不标准化,量纲大的特征会被过度惩罚,导致模型失效;
  2. 超参数调优的重要性:正则化参数α\alphaα(λ)直接决定模型性能,手动试错效率低,网格搜索+交叉验证是科学的调参方法;
  3. 特征重要性解读:Ridge回归无特征选择功能,所有特征系数均非0,系数的绝对值大小反映特征对目标变量的影响程度;
  4. 模型泛化性判断:训练集和测试集的R2分数应尽量接近,若差距过大,说明α\alphaα调优不当,模型仍存在过拟合/欠拟合。

四、Ridge回归的优缺点

Ridge回归是经典的正则化线性回归算法,保留了线性回归的简单高效,同时解决了多重共线性问题,但也存在固有局限性,本、研究生在实战中需结合数据特点判断是否适用。

优点

  1. 高效解决多重共线性:L2正则化项让XTX+λIX^TX+\lambda IXTX+λI成为满秩矩阵,避免了多重共线性导致的矩阵无法求逆问题,让回归系数更稳定;
  2. 有效防止过拟合:通过限制回归系数的平方和,避免单个系数过大,防止模型过度拟合训练数据的噪声,提升对新数据的泛化能力;
  3. 计算效率高:基于线性回归的矩阵运算,训练速度快,适用于大规模数据集,且支持批量计算和在线学习;
  4. 调参灵活且易操作:仅需调整一个正则化参数λ\lambdaλ,即可在模型拟合能力和泛化能力之间做权衡,易通过交叉验证找到最优解。

缺点

  1. 无特征选择能力:L2正则化仅缩小系数但不会将其压缩为0,保留所有输入特征,无法剔除冗余/无关特征,不适用于需要特征选择的场景;
  2. 无法处理非线性关系:本质仍是线性模型,若数据中存在复杂的非线性关系,拟合效果会远差于树模型、SVR等非线性算法;
  3. 模型解释性略有下降:相比标准线性回归,Ridge回归的系数是有偏估计,系数的物理意义被正则化削弱,对特征与目标变量的线性关系解释性稍差;
  4. 对异常值敏感:继承了线性回归的特点,数据中的异常值会显著影响系数的求解,需先做异常值处理。

五、Ridge与Lasso、ElasticNet回归的核心对比

Ridge、Lasso、ElasticNet是正则化线性回归的三大核心算法,三者的核心区别在于正则化方式,进而导致特征选择、适用场景等方面的差异。以下用表格清晰对比,方便本、研究生在实战中快速选型。

对比维度Ridge回归(L2正则化)Lasso回归(L1正则化)ElasticNet回归(L1+L2)
正则化方式系数的平方和,λ∑βj2\lambda\sum\beta_j^2λ∑βj2​系数的绝对值和,λ∑∣βj∣\lambda\sum|\beta_j|λ∑∣βj​∣结合L1+L2,λ1∑∣βj∣+λ2∑βj2\lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2λ1​∑∣βj​∣+λ2​∑βj2​
特征选择不支持,系数仅缩小,永不归零,保留所有特征支持,将无关特征系数压缩为0,生成稀疏模型支持,兼顾特征选择和系数缩减
多重共线性处理能力强,核心解决该问题能力弱,易随机剔除相关特征,模型不稳定能力强,结合Ridge的优势,处理更稳健
模型稀疏性无稀疏性,所有特征均参与建模高稀疏性,仅保留重要特征中稀疏性,可通过调参平衡
核心优点处理共线性、计算稳定、调参简单、适用于大数据集自动特征选择、模型简洁、适用于高维数据兼顾前两者优点,适配性强,解决Lasso的局限性
核心缺点无特征选择、保留冗余特征处理共线性差、高维数据下系数不稳定调参复杂(两个参数)、计算开销稍高
适用场景特征高度相关、需保留所有特征、防过拟合特征冗余多、需自动选特征、高维稀疏数据特征多且高度相关、需同时选特征+处理共线性
调参难度低,仅需调1个参数(λ\lambdaλ)低,仅需调1个参数(λ\lambdaλ)中,需调2个参数(λ1\lambda_1λ1​、λ2\lambda_2λ2​)
系数估计有偏估计,系数偏小有偏估计,部分系数为0有偏估计,可灵活控制系数稀疏性

六、Ridge回归的适用场景与选型建议

Ridge回归并非万能,实战中需结合数据特点、任务需求选择算法,以下是明确的适用场景和优选其他算法的情况,本、研究生可直接参考,避免算法选型失误。

适合使用Ridge回归的场景

  1. 特征之间存在多重共线性:这是Ridge回归的核心适用场景,如经济数据、金融数据中,多个特征高度相关,用Ridge可让模型更稳定;
  2. 需要保留所有特征的回归任务:如医疗、工业检测等场景,每个特征都有实际业务意义,不能随意剔除,需保留所有特征做预测;
  3. 小数据集防过拟合:样本数量少但特征数较多,标准线性回归易过拟合,Ridge的正则化可有效限制模型复杂度;
  4. 大规模线性回归任务:数据量较大(十万/百万级),对模型训练速度有要求,Ridge计算效率高,远快于非线性模型。

优选其他算法的场景

  1. 需要自动特征选择:特征数量多且存在大量冗余,希望剔除无关特征,优先选Lasso回归;
  2. 特征多且高度相关:既需要特征选择,又要处理多重共线性,优先选ElasticNet回归;
  3. 数据存在非线性关系:自变量与因变量无明显线性趋势,优先选树模型(随机森林/梯度提升树)、SVR、神经网络等非线性算法;
  4. 对模型解释性要求极高:希望清晰解释每个特征对目标变量的线性影响,优先选标准线性回归(无多重共线性时)或决策树回归;
  5. 极端高维数据(特征数>>样本数):如基因测序、文本特征数据,优先选Lasso/ElasticNet回归,生成稀疏模型降低计算成本。

七、总结

Ridge回归是解决多重共线性问题的经典正则化线性回归算法,核心是在标准线性回归中加入L2正则化惩罚项,通过限制回归系数的平方和实现参数缩减,让模型更稳健、泛化能力更强,同时保留了线性回归简单、高效、易实现的优点。

其核心价值在于处理多重共线性,这是Lasso回归无法替代的,因此在特征高度相关、需要保留所有特征的线性回归任务中,Ridge回归是首选;但它无特征选择能力,无法处理非线性关系,这也是其固有局限性。

对于本、研究生来说,学习Ridge回归的核心不仅是掌握公式推导和代码实现,更要理解正则化的本质——在模型拟合能力和泛化能力之间做权衡,这也是机器学习中所有正则化方法的核心思想。

同时要明确正则化线性回归的选型逻辑:

  • 仅处理多重共线性→选Ridge;
  • 仅做特征选择→选Lasso;
  • 既选特征又处理共线性→选ElasticNet;
  • 非线性关系→放弃正则化线性回归,选非线性算法。

这一选型逻辑是回归任务的基础,也为后续学习更复杂的机器学习模型奠定了思路。

机器学习模型系列:岭回归、套索回归和弹性网络回归 正则化项惩罚系数的绝对值。将无关的值设为0。可能会在模型中删除太多特征。 阅读详情

相关推荐

【理解机器学习算法】之岭回归Ridge - L2 Rgularization

本人就职海外从事人工智能领域开发设计。 希望花时间总结下流行的机器学习算法,希望大家一起学习,欢迎指正!

Hyman Qiu 2319

【数据挖掘】岭回归Ridge讲解及实战应用(超详细 附源码)

【数据挖掘】岭回归Ridge讲解及实战应用(超详细 附源码)

showswoller的博客 7173

机器学习——线性回归之Ridge回归和Lasso回归

线性回归是一种常见的机器学习算法,用于建模自变量和因变量之间的线性关系。在实际应用中,除了普通的线性回归外,还有两种常见的改进方法,即Ridge回归和Lasso回归。本文将简单介绍Ridge回归和Lasso回归的理论基础Python代码实现进行对比分析。

weixin_39753819的博客 4240

Ridge和Lasso回归

上周看了看回归方面的知识,顺便复(xue)习一下Ridge(岭回归)和Lasso回归(套索回归)。瞅到了一篇英文博客讲得不错,翻译一下 本文翻译自 Ridge and Lasso Regression 本文是一篇Josh Starmer关于 视频的总结(StatQuest的视频确实是不错的,通俗易懂还唱歌,非常推荐大家有空都看一下 点击此处 观看Josh Starmer对Ridge Regression的解释 点击此处 观看Josh Starmer对 Regression的解释 过拟合(Overfi

拉风小宇的博客 5325

Linear回归、Ridge回归、Lasso回归之间的对比

Linear回归、Ridge回归、Lasso回归是几种常用的回归算法。 本文对他们各自的特点进行简单对比。 Linear回归 损失函数 f(w)=∣∣Xw−y∣∣22f(w) = ||Xw - y||_2^2f(w)=∣∣Xw−y∣∣22​ 使用方法 import numpy as np import matplotlib.pyplot as plt from sklearn.linear...

kalath_aiur的博客 1688

机器学习-回归算法中利用Ridge回归、LASSO回归、Elastic Net弹性网络解决过拟合问题

普通最小二乘法多项式扩展案例

Yangwenyi115615的博客 2957

机器学习系列----岭回归(Ridge Regression)简介及实现

岭回归(Ridge Regression),也被称为Tikhonov正则化,是一种线性回归的变体。它通过在普通最小二乘法(OLS)回归中加入L2正则化项来解决多重共线性问题,从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数,使得它们保持较小的值,从而减少过拟合的风险。岭回归适用于当特征之间高度相关时(即多重共线性问题),普通的线性回归模型可能会变得不稳定,并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项,约束了模型参数的大小,从而使得模型更加稳健。

DK22151的博客 1万+

理解线性回归(三)——岭回归Ridge Regression

Scikit-Learn学习笔记——岭回归Ridge Regression

bigfacesafdasgfewgf 1万+

10个工业级回归算法实战选型与避坑指南

回归模型是机器学习落地最广泛的基础任务,其核心在于平衡预测精度、计算效率与业务可解释性。从线性模型的正则化原理,到树模型的过拟合控制机制,再到梯度提升框架对类别特征的差异化处理逻辑,不同算法在数据规模、特征结构和部署约束下表现出显著性能分层。尤其在真实业务场景中,Ridge/Lasso依赖特征标准化,XGBoost需规避类别编码陷阱,LightGBM与CatBoost原生支持高维稀疏输入——这些关键差异直接决定模型能否稳定上线。本文聚焦工业实践中的10个高性价比回归算法,覆盖小样本稳健建模、大数据实时预测及

weixin_34248487的博客 440

【机器学习|回归算法】线性回归、逻辑回归、Lasso 回归、Ridge 回归详解,附代码。

【机器学习|回归算法】线性回归、逻辑回归、Lasso 回归、Ridge 回归详解,附代码。

2401_89898861的博客 1321

Ridge回归与Lasso回归对比

Ridge回归与Lasso回归对比 作者:禅与计算机程序设计艺术 1. 背景介绍 在机器学习和统计分析中,线性回归是一种广泛应用的预测建模技术。当我们面临具有多个特征变量的回归问题时,常见的两种正则化线性回归方法是Ridge回归和Lasso回归。这两种方法都能有效应对过拟合

AI天才研究院 1448

【机器学习|DAY04】线性回归(Linear Regression)笔记

这篇笔记系统梳理了线性回归从原理到实践的完整知识体系。全文从“线性”二字的真正含义出发,厘清了“对参数线性”与“对特征线性”的关键区别,随后沿着训练流程依次拆解损失函数、正规方程与梯度下降两种优化思路,并对梯度、方向导数、学习率等核心概念做了深入浅出的讲解。在过拟合与正则化部分,文章用拉格朗日约束和次梯度扇区等几何视角,直观解释了L1为何能产生稀疏解、L2为何只能压缩权重。最后以“损失+优化+正则化”三要素为线索,对比了sklearn中五款回归器的配置逻辑与适用场景。

m0_73999950的博客 544

正则化回归详解:从Ridge、Lasso到Elastic Net的算法原理与sklearn实践

在机器学习建模中,面对高维数据和特征共线性,普通最小二乘回归往往产生不稳定的系数估计,过拟合风险随之上升。正则化回归通过在损失函数中引入惩罚项,有效平衡偏差与方差,既能抑制过拟合,又能实现特征选择。岭回归采用L2惩罚,将系数平滑收缩至接近零;Lasso采用L1惩罚,可将无关特征精确压缩为零,成为高维场景下常用的稀疏化工具;Elastic Net则结合两者,在强相关特征组中表现更稳健。实际应用中,特征标准化是确保惩罚公平的前提,而交叉验证则是自动选择alpha与l1_ratio的关键手段。本文深入解析三类算法

weixin_29047919的博客 135

【机器学习】常见的四种“回归”算法 - 概述及实战

文章详细解释了四种常见的回归模型(线性回归、Lasso回归、Ridge回归、多项式回归)以及如何在它们在实战中的应用和区别。

destingong的博客 2491

亚马逊广告接口 amazon advertising

亚马逊广告接口官方说明:https://advertising.amazon.com/API/docs/en-us/setting-up/account-setup 一:注册aws开发者账号 注册地址:https://developer.amazon.com 二:填写注册资料 三:进入控制台,生成安全配置文件 进入 Login with Amazon 菜单: 创建配置文件: 四:申请广告接入权限 申请地址:https://advertising.amazon.com/zh-cn/about-api

lzy66666的博客 4777

深入解析EXI协议在ISO15118-2命令测试中的编解码实践

本文深入探讨了EXI协议在ISO15118-2车桩通信标准中的关键作用与实践方法。EXI编解码测试是确保通信准确性与效率的核心环节,文章详细介绍了从搭建测试环境、选择工具库到编写完整测试代码的全过程,并分析了结果差异的常见原因与调试技巧,为电动汽车充电系统的开发者提供了实用的技术指南。

potato的博客 1051

回归算法之Ridge,Lasso,Elastic Net回归算法

维数灾难 何谓高维数据?高维数据指数据的维度很高,甚至远大于样本量的个数。高维数据的明显的表现是:在空间中数据是非常稀疏的,与空间的维数相比样本量总是显得非常少。 在分析高维数据过程中碰到最大的问题就是维数的膨胀,也就是通常所说的“维数灾难”问题。研究表明,随着维数的增长,分析所需的空间样本数会呈指数增长。 数据降维 对于高维数据,维数灾难所带来的过拟合问题,其解决思...

qfikh的博客 4795

MAC 青花瓷(Charles)爪机HTTPS 抓包

前段时间跟之前的产品小姐姐聊天,小姐姐说开发让她抓包帮忙看下数据,然而自己又不会,那就来写一篇简易版的教程 冲冲冲! 手上只有mac电脑跟iPhone手机,只做苹果手机的抓包,android7.0以上版本也没法通过正常的抓htts的包,让安卓开发装个后门吧,不是安卓开发并不知道是啥,连上USB之后访问chrome://inspect/#devices就能很简单的抓包 一、准备工具等 青花瓷...

Promise的博客 1619

LASSO回归与Ridge回归方法及Python实现总结

LASSO回归与Ridge回归 在线性回归算法中一般使用普通最小二乘法Ordinary Least Squares进行参数估计,这种方法进行参数估计时依赖于特征的独立性。如果样本的特征相关并且设计矩阵各列近似线性相关时,设计矩阵近似奇异,使用普通的最小二乘法估计模型参数会对观测目标的随机误差高度敏感,参数估计的方差过大,求解出来的模型很不稳定。在具体取值与真实值之间有较大偏差时,有...

SSyangguang的博客 5749

牛顿法vs高斯牛顿法vs LM算法:三行代码说清核心区别(附性能对比表格)

本文通过对比牛顿法、高斯牛顿法和LM算法的核心迭代代码,揭示了三者在非线性最小二乘优化中的本质区别。LM算法通过引入阻尼因子,在高斯牛顿法的快速收敛与梯度下降的稳定性之间取得平衡,成为工程实践中鲁棒性最强的首选。文章还提供了清晰的性能对比表格,帮助开发者根据初始估计和问题性质快速选择合适算法。

weixin_29062255的博客 421

HQChart实战教程54:Renko砖形K线图实现详解

Renko图(砖形图)起源于日本,只关注价格变动而忽略时间和成交量因素: 2.2 算法说明 初始化:使用第一根K线的收盘价创建第一个砖块 变动检测:计算当前价格与最后一个砖块的差值 砖块生成: 当价格变动≥砖块大小时,生成新砖块 当价格变动不足时,更新当前砖块的高低价 方向判断:根据价格变动方向确定砖块颜色 三、完整实现代码 四、Renko图的高级应用 4.1 动态砖块大小调整 4.2 Renko交易策略 三砖反转策略:趋势跟踪策略:本文详细介绍了Renko图的实现原理和在HQChart中的应

QQ_778132974的博客 875

手写算法-python代码实现Ridge(L2正则项)回归

手写算法-python代码实现Ridge回归Ridge简介Ridge回归分析与python代码实现1、标准方程法实现Ridge回归2、梯度下降法实现Ridge回归调用sklearn对比 Ridge简介 前面2篇文章,我们介绍了过拟合与正则化,比较全面的讲了L1、L2正则化的原理与特点; 链接: 原理解析-过拟合与正则化 以及python代码实现Lasso回归; 链接: 手写算法-python代码实现Lasso回归 今天,我们在这基础上,讲一讲Ridge回归,就比较简单了, 本文主要实现python代码的Ri

weixin_44700798的博客 8995

SolidWorks 小车底盘 装配体

通过制作小车底盘了解solidworks装配体的部分知识

及时总结 2229

机器学习之Ridge回归与Lasso回归

Ridge回归和Lasso回归是机器学习中常用的线性回归算法的变种。Ridge回归是一种线性回归算法,通过在损失函数中添加一个正则化项,以控制模型的复杂度。正则化项是模型参数的平方和与一个参数alpha的乘积,alpha越大,惩罚项越大,模型的复杂度越低。Ridge回归可以降低模型对数据中噪声的敏感性,从而提高模型的泛化能力。Lasso回归也是一种线性回归算法,与Ridge回归类似,但正则化项是模型参数的绝对值和与一个参数alpha的乘积。

weixin_71158509的博客 2329

第95章 安全工程师:Shell 脚本实现安全扫描、漏洞检测、日志审计

随着网络安全威胁日益复杂,传统的手动安全管理已无法满足现代企业的安全需求。Shell 脚本为安全工程师提供了强大的自动化能力,能够实现 7×24 小时的安全监控、快速漏洞扫描、智能日志分析和实时威胁响应。本章将系统介绍如何使用 Shell 脚本构建完整的安全防护体系,从基线检查到实时监控,帮助你打造自动化的安全运维能力。

猪猪侠 91

热力学仿真软件:Fluent_(13).燃烧与化学反应仿真

燃烧模型在热力学仿真软件中扮演着至关重要的角色。Fluent 提供了多种燃烧模型,包括层流预混燃烧模型、湍流预混燃烧模型、非预混燃烧模型、部分预混燃烧模型等。这些模型可以帮助用户模拟不同的燃烧过程,从而更好地理解燃烧现象和优化燃烧系统设计。

kkchenjj的博客 1254
上一篇: 第7章 注意力机制与Transformer
下一篇: 第8章 深度学习的优化方法与正则化
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值