【回归算法】Lasso回归详解

机器学习算法—Lasso回归 Lasso通过引入L1正则化(即系数绝对值之和),能够将一些不重要的特征的系数压缩为零。这种稀疏性使得Lasso不仅是一个回归模型,还是一个特征选择工具。它可以帮助我们在高维数据中筛选出最重要的变量,从而简化模型并提高解释性。正则化的目的是防止过拟合。在普通最小二乘法中,如果特征之间存在多重共线性(即特征高度相关),或者特征数量远大于样本数量,模型可能会过度拟合训练数据,导致在测试数据上的表现不佳。Lasso通过对系数施加惩罚,限制了模型的复杂度,从而提高了泛化能力。 阅读详情

Lasso回归详解

本内容专为本科生、研究生梳理,用通俗的语言讲解Lasso回归的核心原理、算法流程、实战案例及模型选型,兼顾理论理解与代码实现,同时对比了同类正则化回归算法,方便大家在实战中选择。

Lasso回归是带L1正则化的线性回归算法,名字来源于Least Absolute Shrinkage and Selection Operator的缩写,直译是“最小绝对收缩和选择算子”。它在普通线性回归的基础上增加了惩罚项,核心能力是自动将不重要特征的回归系数压缩为0,从而实现特征选择,让模型更简洁、泛化能力更强,主要用于数值型数据的回归预测(如房价、销售额、气温等)。

一、为什么要使用Lasso回归?

我们在做回归分析时,常会遇到特征维度多、存在冗余特征的问题,普通线性回归无法解决这些问题,而Lasso回归能完美适配,核心原因有3点:

  1. 自动特征选择:能将对预测结果无足轻重的特征系数缩为0,只保留重要特征,解决“特征太多无从筛选”的问题;
  2. 简化模型:剔除冗余特征后,模型的解释性会大幅提升,方便本、研究生做结果分析和论文写作;
  3. 防止过拟合:通过对回归系数加惩罚约束,避免模型过度拟合训练数据的噪声,提升模型在未知测试集上的预测能力。

简单来说,Lasso回归既保留了线性回归的简单高效,又解决了其易过拟合、无法选特征的痛点。

二、Lasso回归的理论基础

Lasso回归的核心是在普通最小二乘法的损失函数中加入L1正则化惩罚项,本部分从数学公式、公式推理、算法流程、几何解释四个维度讲解,是本、研究生需要掌握的核心理论。

1. 数学公式:对比普通线性回归

Lasso回归的公式建立在普通最小二乘法(OLS) 基础上,先明确普通线性回归的优化目标,再理解Lasso的公式就会非常容易。

(1)普通线性回归的损失函数

普通线性回归的目标是找到一组回归系数向量www,让残差平方和最小,公式为:
min⁡w∑i=1n(yi−xi⊤w)2\min _{w} \sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right)^{2}wmin​i=1∑n​(yi​−xi⊤​w)2
其中:

  • nnn:样本总数;
  • xix_{i}xi​:第iii个样本的特征向量;
  • yiy_{i}yi​:第iii个样本的目标值(要预测的数值);
  • www:回归系数向量(每个特征对应一个系数);
  • xi⊤wx_i^\top wxi⊤​w:第iii个样本的预测值。
(2)Lasso回归的损失函数

Lasso回归在普通线性回归的损失函数中,加入了L1正则化惩罚项(所有回归系数的绝对值之和),优化目标变为:
min⁡w(∑i=1n(yi−xi⊤w)2+λ∑j=1p∣wj∣)\min _{w}\left(\sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right)^{2}+\lambda \sum_{j=1}^{p}\left|w_{j}\right|\right)wmin​(i=1∑n​(yi​−xi⊤​w)2+λj=1∑p​∣wj​∣)
其中:

  • ppp:特征的总数;
  • wjw_jwj​:第jjj个特征对应的回归系数;
  • λ\lambdaλ:正则化参数(核心超参数),用于控制惩罚项的权重:
    • λ=0\lambda=0λ=0:Lasso回归退化为普通线性回归,无惩罚;
    • λ\lambdaλ越大:惩罚力度越强,更多特征的系数会被压缩为0;
    • λ\lambdaλ越小:惩罚力度越弱,被压缩为0的特征越少。

2. 公式推理:从优化问题到梯度计算

Lasso回归的本质是带约束的优化问题,我们可以通过梯度下降法求解最优回归系数www,这也是代码实现的核心原理。

(1)损失函数的拆分

将Lasso回归的损失函数记为JLasso(w)J_{Lasso}(w)JLasso​(w),可拆分为普通最小二乘项和L1正则化项:
JLasso(w)=∑i=1n(yi−xi⊤w)2⏟普通最小二乘项JOLS(w)+λ∑j=1p∣wj∣⏟L1正则化项J_{Lasso }(w)=\underbrace{\sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right)^{2}}_{普通最小二乘项J_{OLS}(w)}+\underbrace{\lambda \sum_{j=1}^{p}\left|w_{j}\right|}_{L1正则化项}JLasso​(w)=普通最小二乘项JOLS​(w)i=1∑n​(yi​−xi⊤​w)2​​+L1正则化项λj=1∑p​∣wj​∣​​

(2)梯度下降的核心思想

梯度下降法的核心是沿着损失函数的负梯度方向更新参数,直到参数收敛(变化量极小或达到最大迭代次数),更新规则为:
w←w−α∇JLasso(w)w \leftarrow w-\alpha \nabla J_{Lasso }(w)w←w−α∇JLasso​(w)
其中:

  • α\alphaα:学习率,控制每次参数更新的步长(过大会震荡,过小会收敛慢);
  • ∇JLasso(w)\nabla J_{Lasso}(w)∇JLasso​(w):Lasso损失函数对www的梯度。
(3)梯度的计算

梯度是偏导数的向量形式,分别计算两部分的梯度再求和即可:

  1. 普通最小二乘项的梯度:
    ∇JOLS(w)=−2∑i=1n(yi−xi⊤w)xi\nabla J_{OLS}(w)=-2 \sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right) x_{i}∇JOLS​(w)=−2i=1∑n​(yi​−xi⊤​w)xi​

  2. L1正则化项的梯度:
    L1范数∣wj∣|w_j|∣wj​∣在wj=0w_j=0wj​=0处导数不连续,因此用符号函数sign(wj)sign(w_j)sign(wj​) 表示其导数,梯度为:
    ∇(λ∑j=1p∣wj∣)=λsign(wj)\nabla\left(\lambda \sum_{j=1}^{p}\left|w_{j}\right|\right)=\lambda sign\left(w_{j}\right)∇(λj=1∑p​∣wj​∣)=λsign(wj​)
    其中符号函数:sign(wj)=1sign(w_j)=1sign(wj​)=1(wj>0w_j>0wj​>0),sign(wj)=−1sign(w_j)=-1sign(wj​)=−1(wj<0w_j<0wj​<0),sign(wj)=0sign(w_j)=0sign(wj​)=0(wj=0w_j=0wj​=0)。

  3. Lasso回归的总梯度:
    ∇JLasso(w)=−2∑i=1n(yi−xi⊤w)xi+λsign(w)\nabla J_{Lasso }(w)=-2 \sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right) x_{i}+\lambda sign(w)∇JLasso​(w)=−2i=1∑n​(yi​−xi⊤​w)xi​+λsign(w)

注意:梯度下降法不是求解Lasso的唯一方法,坐标下降法也是常用方法,适合处理高维数据,Scikit-learn中Lasso回归的底层实现也用到了坐标下降法。

3. 算法流程(梯度下降法)

Lasso回归的算法流程固定,本、研究生可按此流程手动实现算法,步骤清晰且易操作:

步骤1:初始化参数
  • 设置超参数:学习率α\alphaα、正则化参数λ\lambdaλ、最大迭代次数;
  • 初始化回归系数www:通常初始化为全0或小的随机值。
步骤2:迭代更新参数

重复以下操作,直到参数收敛或达到最大迭代次数:

  1. 计算预测值:y^i=xi⊤w\hat{y}_{i}=x_{i}^{\top} wy^​i​=xi⊤​w;
  2. 计算预测误差:ei=yi−y^ie_{i}=y_{i}-\hat{y}_{i}ei​=yi​−y^​i​;
  3. 计算Lasso损失函数的梯度:∇JLasso(w)=−2∑i=1neixi+λsign(w)\nabla J_{Lasso }(w)=-2 \sum_{i=1}^{n} e_{i} x_{i}+\lambda sign(w)∇JLasso​(w)=−2∑i=1n​ei​xi​+λsign(w);
  4. 按梯度下降规则更新系数:w←w−α∇JLasso(w)w \leftarrow w-\alpha \nabla J_{Lasso }(w)w←w−α∇JLasso​(w)。
步骤3:输出结果

输出收敛后的最终回归系数www,此时系数中为0的项对应被剔除的不重要特征,非零项对应保留的重要特征。

4. 几何解释:为什么Lasso能实现特征选择?

几何解释能帮助本、研究生直观理解Lasso的特征选择原理,我们以两个特征(w1w_1w1​、w2w_2w2​) 的简单场景为例讲解,高维场景的逻辑一致。

  1. 普通最小二乘的等值线:对于OLS的损失函数,其取值相同的点构成的曲线是椭圆形(等值线),椭圆的中心是OLS的最优解(无惩罚时的系数);
  2. L1正则化的约束域:L1正则化项λ∑∣wj∣≤C\lambda\sum|w_j| \leq Cλ∑∣wj​∣≤C(CCC为常数)在二维空间中是菱形,这是回归系数www的取值范围;
  3. 最优解的交点:Lasso的最优解是椭圆与菱形的切点,而菱形的切点大概率出现在顶点处(如w1=0w_1=0w1​=0或w2=0w_2=0w2​=0),顶点处对应的特征系数为0,从而实现特征选择。

简单来说:L1正则化的菱形约束域让最优解的系数更容易为0,而这是L2正则化(岭回归)的圆形约束域做不到的,这也是Lasso能选特征、岭回归不能的核心原因。

三、Lasso回归实战案例:加州房价预测

以加州房价数据集为例,用Python+Scikit-learn实现Lasso回归的全流程,包含数据加载、预处理、特征工程、模型优化、评估、可视化,代码可直接运行,适合本、研究生动手实践,理解理论如何落地。

案例目标

用Lasso回归预测加州各区域的房屋中位数价格,通过网格搜索找到最优正则化参数α\alphaα,实现特征选择并评估模型效果。

技术要点

  1. 特征缩放:线性回归类模型对特征量纲敏感,需用标准化消除量纲影响;
  2. 超参数优化:用GridSearchCV网格搜索+5折交叉验证找最优α\alphaα;
  3. 模型评估:用均方误差(MSE)和R2分数评估预测效果;
  4. 特征选择:通过回归系数是否为0,筛选对房价有重要影响的特征。

完整代码(含详细注释)

# 导入所需库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 导入模型、评估指标、数据划分、预处理工具
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.linear_model import Lasso
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler
# 导入加州房价数据集
from sklearn.datasets import fetch_california_housing

# ===================== 步骤1:加载和探索数据 =====================
data = fetch_california_housing()
# 转换为DataFrame,方便数据处理
df = pd.DataFrame(data.data, columns=data.feature_names)
df['MedHouseVal'] = data.target  # 目标变量:房屋中位数价格
# 查看数据前5行和统计信息
print("数据前5行:\n", df.head())
print("数据统计信息:\n", df.describe())

# ===================== 步骤2:数据预处理 =====================
# 1. 检查缺失值(加州房价数据集无缺失值,此处为通用步骤)
print("各特征缺失值数量:\n", df.isnull().sum())
# 2. 分离特征和目标变量
X = df.drop('MedHouseVal', axis=1)  # 特征
y = df['MedHouseVal']               # 目标变量
# 3. 划分训练集(80%)和测试集(20%),random_state保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 4. 特征标准化(核心步骤!消除量纲影响)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)  # 训练集拟合+转换
X_test_scaled = scaler.transform(X_test)        # 测试集仅转换,避免数据泄露

# ===================== 步骤3:特征工程(相关性分析) =====================
# 绘制特征相关性热力图,分析特征间的线性关系
plt.figure(figsize=(10, 8))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm', linewidths=0.5)
plt.title('Feature Correlation Heatmap', fontsize=16)
plt.tight_layout()
plt.show()

# ===================== 步骤4:建立并优化Lasso模型 =====================
# 初始化Lasso回归模型
lasso = Lasso()
# 定义超参数网格:alpha取10^-4到10^4之间的50个对数间距值,覆盖所有可能的惩罚力度
param_grid = {'alpha': np.logspace(-4, 4, 50)}
# 网格搜索+5折交叉验证,以负均方误差为评分标准
grid_search = GridSearchCV(lasso, param_grid, cv=5, scoring='neg_mean_squared_error')
grid_search.fit(X_train_scaled, y_train)  # 在标准化后的训练集上训练

# 输出最优超参数和对应的模型
best_alpha = grid_search.best_params_['alpha']
print(f"最优正则化参数alpha = {best_alpha:.6f}")
# 用最优alpha训练最终模型
lasso_opt = Lasso(alpha=best_alpha)
lasso_opt.fit(X_train_scaled, y_train)

# 查看特征系数,筛选重要特征(系数≠0的为重要特征)
feature_coef = pd.Series(lasso_opt.coef_, index=X.columns)
print("\nLasso回归的特征系数(系数=0表示特征被剔除):\n", feature_coef)
important_features = feature_coef[feature_coef != 0].index.tolist()
print(f"\nLasso筛选出的重要特征:{important_features}")

# ===================== 步骤5:模型评估 =====================
# 在训练集和测试集上进行预测
y_pred_train = lasso_opt.predict(X_train_scaled)
y_pred_test = lasso_opt.predict(X_test_scaled)
# 计算MSE(均方误差,越小越好)和R2(决定系数,越接近1拟合效果越好)
mse_train = mean_squared_error(y_train, y_pred_train)
mse_test = mean_squared_error(y_test, y_pred_test)
r2_train = r2_score(y_train, y_pred_train)
r2_test = r2_score(y_test, y_pred_test)
# 输出评估指标
print(f"\n训练集MSE:{mse_train:.4f}")
print(f"测试集MSE:{mse_test:.4f}")
print(f"训练集R2:{r2_train:.4f}")
print(f"测试集R2:{r2_test:.4f}")

# ===================== 步骤6:结果可视化 =====================
# 绘制真实值vs预测值散点图,直观看拟合效果
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred_test, alpha=0.6, color='deepskyblue', edgecolor='k')
# 红色虚线:完美拟合线(真实值=预测值)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2)
plt.xlabel('Actual House Price', fontsize=14)
plt.ylabel('Predicted House Price', fontsize=14)
plt.title('Lasso Regression: Actual vs Predicted House Prices', fontsize=16)
plt.tight_layout()
plt.show()

# 绘制特征系数可视化图,直观展示特征重要性
plt.figure(figsize=(12, 6))
feature_coef.plot(kind='bar', color=['red' if c == 0 else 'deepskyblue' for c in feature_coef])
plt.axhline(y=0, color='black', linestyle='-', lw=0.5)
plt.xlabel('Features', fontsize=14)
plt.ylabel('Regression Coefficient', fontsize=14)
plt.title('Lasso Regression: Feature Coefficients', fontsize=16)
plt.tight_layout()
plt.show()

案例关键注意点

  1. 特征标准化:Lasso回归对特征的量纲高度敏感(如“人口数”是万级,“房龄”是十级),标准化后才能让惩罚项对所有特征一视同仁;
  2. 超参数搜索:α\alphaα的取值直接决定模型效果,手动试错效率低,网格搜索+交叉验证是科学的调参方法;
  3. 特征选择:直接查看回归系数即可,系数为0的特征被Lasso自动剔除,这是最直观的特征选择结果;
  4. 模型泛化性:训练集和测试集的R2分数应接近,若差距过大,说明模型仍存在过拟合/欠拟合,需调整α\alphaα。

四、Lasso回归的优缺点

Lasso回归是经典的正则化回归算法,有明显的优势,也存在一定的局限性,本、研究生在实战中需结合数据特点判断是否适用。

优点

  1. 自带特征选择:核心优势,能自动将不重要特征的系数压缩为0,无需手动筛选特征,适合高维数据;
  2. 有效防止过拟合:L1正则化的惩罚项约束了回归系数的大小,避免模型过度拟合训练数据的噪声,提升泛化能力;
  3. 简单高效:基于线性回归拓展,计算复杂度低,训练速度快,易实现且易解释;
  4. 生成稀疏模型:仅保留重要特征,模型结构简单,方便后续的结果分析和落地。

缺点

  1. 处理多重共线性能力弱:当特征之间存在高度线性相关(如身高和体重、面积和户型)时,Lasso可能随机剔除其中一个特征,导致特征选择结果不准确,模型性能下降;
  2. 大规模数据调参效率低:若用网格搜索+交叉验证调参,在百万级以上的大规模数据集上,计算量会显著增加,训练时间变长;
  3. 解释性受数据影响:虽然模型整体简单,但当数据存在异常值、非线性关系时,Lasso的系数解释性会大幅下降;
  4. 极端高维数据表现一般:对于特征数远大于样本数的极端高维数据,Lasso的特征选择效果会变差,需结合Elastic Net回归。

五、Lasso回归与同类正则化回归算法的对比

与Lasso回归最相似的是Ridge回归(岭回归,L2正则化)和Elastic Net回归(弹性网,L1+L2正则化),三者均为线性回归的正则化拓展,核心区别在正则化方式,本部分用表格清晰对比,方便本、研究生实战选型。

对比维度Lasso回归(L1正则化)Ridge回归(L2正则化)Elastic Net回归(L1+L2正则化)
正则化方式系数的绝对值之和系数的平方和结合L1和L2的惩罚项,加权求和
特征选择支持,系数可被压缩为0,生成稀疏模型不支持,系数仅被缩小,不会为0,保留所有特征支持,系数可被压缩为0,实现特征选择
多重共线性处理能力弱,易随机剔除相关特征能力强,能有效缓解特征间的多重共线性能力强,兼顾Lasso的特征选择和Ridge的抗共线性
核心优点自动特征选择、模型稀疏、简单易解释抗多重共线性、计算稳定、适合小样本高维数据结合前两者优点,适配性强,适合极端高维数据
核心缺点处理多重共线性能力弱、特征选择可能随机无法特征选择、模型复杂、保留冗余特征需调整两个超参数,调参复杂度高
适用场景高维数据、特征冗余多、需稀疏模型的回归任务特征存在多重共线性、需保留所有特征的回归任务极端高维数据、特征共线性强、需特征选择的任务
超参数调优仅需调整1个参数(α\alphaα,惩罚力度)仅需调整1个参数(α\alphaα,惩罚力度)需调整2个参数(L1惩罚权重、L2惩罚权重)
模型简洁性高,仅保留重要特征低,保留所有特征,存在冗余中,保留重要特征,结构简洁
计算复杂度低,线性计算,训练速度快低,比Lasso稍快,计算更稳定中,比前两者稍高,调参时计算量增加

六、Lasso回归的适用场景与选型建议

Lasso回归并非万能,实战中需结合数据特点、任务需求选择算法,以下是明确的适用场景和优选其他算法的情况,本、研究生可直接参考。

适合使用Lasso回归的场景

  1. 高维数据且特征冗余多:特征数量多(如百维/千维),但仅有少数特征对预测结果有重要影响,如基因数据、文本特征数据;
  2. 需要自动特征选择:不想手动筛选特征,或手动筛选成本高,希望模型自带特征选择功能,生成稀疏模型;
  3. 追求模型的简洁性和解释性:如论文写作、业务落地场景,需要模型结构简单,能清晰解释特征对目标变量的影响;
  4. 小样本高维数据防过拟合:样本数少(如几百/几千)但特征数多,普通线性回归易过拟合,Lasso的正则化能有效缓解。

优选其他算法的场景

  1. 特征存在多重共线性:特征之间高度相关,优先选Ridge回归或Elastic Net回归;
  2. 需要保留所有特征:如金融、医疗等场景,所有特征均有业务意义,不能随意剔除,优先选Ridge回归;
  3. 极端高维数据(特征数>>样本数):如基因测序、图像像素数据,优先选Elastic Net回归;
  4. 数据存在非线性关系:Lasso是线性模型,无法拟合非线性数据,优先选决策树/随机森林回归、SVR等非线性算法;
  5. 大规模数据集(百万级以上):优先选随机森林/梯度提升树,训练效率更高且泛化能力更强。

七、总结

Lasso回归是最经典的带特征选择的正则化线性回归算法,核心是L1正则化的惩罚项,实现了“回归预测+特征选择”的双重功能,简单、高效、易解释,是本、研究生学习机器学习回归算法的必学内容,也是高维回归任务中的基准模型。

其核心价值在于自动筛选特征、生成稀疏模型,非常适合高维、特征冗余多的回归场景,但在特征存在多重共线性时表现不佳,这一痛点可通过Elastic Net回归(L1+L2)解决。

在实战选型中,本、研究生需牢记:

  • 只需特征选择,无多重共线性 → 选Lasso回归;
  • 有多重共线性,无需特征选择 → 选Ridge回归;
  • 既需特征选择,又有多重共线性 → 选Elastic Net回归;
  • 数据存在非线性关系 → 直接放弃正则化线性回归,选树模型、SVR等非线性算法。

Lasso回归的学习重点不仅是公式和代码,更在于理解L1正则化的本质,以及正则化参数对模型的影响,这也是后续学习其他正则化算法的基础。

logistic回归、lasso回归、ridge回归、Elastic Net回归之间的总结 回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。 阅读详情

相关推荐

r语言实现岭回归_R语言实现LASSO回归——自己编写LASSO回归算法

原文链接:拓端数据科技 / Welcome to tecdat​tecdat.cn这篇文章中我们可以编写自己的代码来计算套索(lasso)回归,我们必须定义阈值函数R函数是thresh = function(x,a){sign(x) * pmax(abs(x)-a,0)}要解决我们的优化问题,设置这样就可以等效地写出优化问题因此一个得到同样,如果有权重ω=(ωi),则按坐标更新将变为计算此分量下...

weixin_36443241的博客 2087

LASSO回归

LASSO(Least Absolute Shrinkage and Selection Operator,最小绝对值收敛和选择算子算法)是一种回归分析技术,用于变量选择和正则化。它由Robert Tibshirani于1996年提出,作为传统最小二乘回归方法的替代品。

fakerth的博客 9974

Lasso回归完整指南

lasso回归完整指南

ningaiiiii的博客 1756

什么是LASSO回归,怎么看懂LASSO回归的结果

LASSO,全称Least absolute shrinkage and selection operator,是一种数据挖掘方法,即在常用的多元线性回归中,添加惩罚函数,不断压缩系数,从而达到精简模型的目的,以避免共线性和过拟合。当系数为0时,同时达到筛选变量的效果。(以下是一个不严谨的示意图)所以,LASSO回归高效解决了筛选变量的难题:区别于传统的逐步回归stepwise前进、后退变量筛选方法,LASSO回归可以利用较少样本量,高效筛选较多变量。

weixin_46587777的博客 5万+

【机器学习|回归算法】线性回归、逻辑回归、Lasso 回归、Ridge 回归详解,附代码。

【机器学习|回归算法】线性回归、逻辑回归、Lasso 回归、Ridge 回归详解,附代码。

2401_89898861的博客 1321

MATLAB 中 LARS 算法实现详解:最小角回归与 LASSO 优化

LARS算法是一种高效的特征选择和回归方法,适用于高维数据建模。它通过逐步添加变量逼近最小二乘解,支持LASSO回归实现稀疏化。MATLAB实现函数提供LAR/LASSO模式、早停机制和Gram矩阵优化,利用Cholesky分解加速计算。算法从零系数开始,选择与残差相关性最大的变量,沿等角方向更新系数,生成完整的系数路径。该函数支持灵活配置,适合中等规模数据集,能提升模型解释性和泛化能力,是稀疏回归的实用工具。

m0_62153576的博客 112

Lasso回归(概念+实例)

Lasso回归(Least Absolute Shrinkage and Selection Operator,最小绝对收缩和选择算子回归),是一种在统计学中广泛使用的回归分析方法。其核心在于通过对系数进行压缩,以达到变量选择和复杂度调整的目的,从而提高模型的预测精度和解释能力。Lasso回归在处理具有多重共线性数据或者高维数据时尤其有效。

weixin_47151388的博客 4万+

C-Lasso算法详解与Matlab实现:解决面板数据异质性分组回归问题

面板数据回归中,个体间普遍存在的异质性常让传统混合回归或手动分组方法捉襟见肘。混合回归强行假设同质,掩盖组间差异;手动分组则依赖主观变量,难以捕捉潜变量驱动的真实结构。C-Lasso(Classifier Lasso)作为一种数据驱动的分组回归方法,通过在目标函数中引入成对系数惩罚,自动将个体划分为若干组,并同步估计各组系数,无需事先指定分组归属。其核心思想与聚类和Lasso正则化一脉相承,却能同时利用回归模型的结构信息,显著提升分组与估计的准确性。该方法广泛适用于宏观面板、微观企业行为、区域经济等参数异质

weixin_29046611的博客 254

Lasso回归算法详解与应用

回归算法是预测数值型结果的机器学习方法,通过建立自变量与因变量关系模型进行预测。Lasso回归是一种改进的线性回归技术,通过L1正则化防止过拟合并实现特征选择,将不重要特征系数压缩为零。其目标函数包含残差平方和与系数绝对值惩罚项,参数λ控制惩罚力度。Lasso回归适用于高维数据挖掘和需要模型解释性的场景,但存在共线性问题和系数偏差等缺点。文中通过房价预测案例和股票价格分析代码展示了Lasso回归的实际应用,包括特征选择、模型训练和预测评估过程。

Henry的博客 2801

SAC安装与相关库文件(.so)的安装

摘要 SAC: Seismic Analysis Code 是用于地震信号处理的一套软件。 本文将介绍SAC的安装,以及安装时遇到的一些问题。主要是一些动态库(lib**.so)找不到的问题。 本文的环境 64位的 Ubuntu 16.04 64位的系统是安装出现问题的主要原因 1. SAC获取与安装 SAC 的安装,只需要解压,然后修改环境变量即可!!!不需要任何编译!!! 1.1. SAC 获取与解压 SAC软件获取地址:http://ds.iris.edu/ds/nodes/dmc/forms/s.

WangCY的博客 4337

Datawhale~数据挖掘实践之序列问题处理~天池·资金流入流出预测-挑战Baseline~Day01~数据探索与分析

写在前面✍ 本系列笔记基于天池平台上“资金流入流出预测-挑战Baseline”学习赛,记录如何完整的打一次数据挖掘类比赛。同时,该比赛属于序列建模问题,希望学习完成这个任务,可以对序列问题的处理有一定的独立思考能力和实践操作能力,可以将所学理论,用编码的形式和实际的问题得到深入。 第一篇,EDA Content: 初步了解赛题及数据 1.1 任务 1.2 用户基本信息数据 1.3 用户申购赎回数据 1.4 收益率表 1.5 银行间拆借利率表 1.6 提交格式 1.7 评分指标 EDA 1 初.

小卜妞的博客 2361

用Python实现9大回归算法详解——02. Lasso 回归算法

Lasso 回归是一种有效的线性回归方法,通过引入正则化项来避免过拟合并自动选择特征。在模型训练过程中,Lasso 回归不仅能够对系数进行缩减,还能够将不重要的特征的系数缩减为零,实现特征选择。通过案例分析,我们验证了 Lasso 回归在特征选择和模型简化中的有效性,并展示了如何使用 Python 进行实现和结果分析。

qq_41698317的博客 6619

AI对嵌入式的冲击分三波,大多数人只看到了第一波

摘要:AI对嵌入式行业的冲击将分三波递进:第一波(已发生)是代码生成,AI能完成底层驱动配置;第二波(1-2年内)是架构设计,AI将参与系统方案制定;第三波(2-3年)是需求验证,AI能穷举测试用例但无法替代安全决策。每波冲击都将重新定义工程师的价值标准,经验型工程师若不能将隐性知识转化为显性规则将面临淘汰。作者指出,完全不用AI的人第一波就会被淘汰,而仅满足于第一波应用的人将在后续冲击中落后。

u010898524的博客 962

scikit-learn Lasso回归算法详解

本文介绍 scikit-learn 中的 Lasso 回归算法。Lasso 在线性回归的基础上引入 L1 正则化项,能够在拟合数据的同时将部分特征系数压缩为 0,从而同时实现 回归建模 与 特征选择。本文将结合算法原理、关键参数、代码示例与可视化分析,系统说明 Lasso 的使用方式、系数收缩机制及其适用场景。整体来看,Lasso 适合高维数据和强调解释性的任务,但对特征缩放较为敏感,在强相关特征场景下结果可能不够稳定。

MoRanzhi1203的博客 729

RAG 赋能客服机器人:多轮对话与精准回复

在人工智能技术飞速发展的今天,客服机器人已成为企业提升服务效率的重要工具。然而,传统客服系统在多轮对话连贯性和精准回复能力上存在明显短板。检索增强生成(Retrieval-Augmented Generation, RAG)技术通过结合大语言模型(LLM)与外部知识库,为解决这一问题提供了创新路径。本文将深入探讨 RAG 在客服机器人中的应用,重点分析其如何实现多轮对话与精准回复,并结合实际案例与技术框架展开讨论。

shuizhudan223的博客 2143

【系统架构设计师】论文:论虚拟现实技术的应用与发展

虚拟现实技术是当前科学研究的热点,同时也是国家大力支持发展的核心技术之一。所谓虚拟现实,就是通过计算机等虚拟手段来构造一个非常接近真实世界的虚拟环境,它主要体现在视觉、触觉、嗅觉等方面的逼真模拟来达到高度的沉浸性,也就是如我们通常所说的“身临其境”。

数据知道的博客 1万+

【机器学习】线性回归算法详解:线性回归、岭回归、Lasso回归与Elastic Net

【机器学习】回归算法详解:线性回归、岭回归、Lasso回归与Elastic Net

hiliang521的博客 1141

JA3已死,JA4当立:2026年TLS指纹识别技术深度解析

从JA3到JA4,本质上是TLS指纹技术从"简单粗暴"到"工程化设计"的进化。排序机制解决了浏览器随机化的核心痛点,结构化格式提升了可读性和可运维性,多协议扩展适配了最新的网络环境。2026年的今天,JA4已经从"新技术"变成了"基础设施"。对于安全从业者来说,理解JA4的原理和局限,合理运用到反爬、反欺诈、威胁狩猎场景中,是一项必备的基础技能。但也要清醒认识到,没有任何单一指纹是万能的。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 353

机器学习算法[1]--线性回归,岭回归,Lasso回归原理详解及sklearn实现

对机器学习算法-线性回归,岭回归,Lasso回归进行总结,包括原理详解和sklearn的实现

Gthan 2728

【RKNN】RKNN(Rockchip Neural Network)​​ 的详解

RKNN 为 Rockchip 硬件提供了高效的 AI 推理解决方案,适合需要低功耗、实时响应的边缘场景

浩瀚之水的专栏 1690

【麒麟桌面系统】企业微信提示当前副设备的企业微信版本较低

银河麒麟系统中登录企业微信时出现"副设备版本较低"的报错,可通过两种方案解决:1)更新最新版企业微信,需替换软件源并刷新软件商店安装8.0-50-4.1.26.6019kylin5版本;2)安装内测5.0版本企业微信,需下载deb包后使用sudo dpkg命令安装。文章还提供了常见问题解决表和长期维护建议,包括系统更新检查、软件源验证等维护项目及具体操作指南。

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 2280

【机器学习】Lasso回归:稀疏建模与特征选择的艺术

Lasso回归由Robert Tibshirani于1996年提出,是线性回归的一种正则化形式。它在标准线性回归损失函数的基础上,加入了L1范数惩罚项,旨在约束模型参数的绝对值大小,从而促使某些参数直接被“压缩”至零,实现特征的选择性稀疏化。

鑫宝的博客 3221

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

机器学习算法系列(五)- Lasso回归算法(Lasso Regression Algorithm)

机器学习算法系列(五)- Lasso回归算法(Lasso Regression Algorithm)

Saisimon`s blog 8万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

python回归算法_Lasso回归

Lasso回归算法

2301_81791289的博客 1335

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

语言lasso步骤_机器学习算法之LASSO算法

算法名称:LASSO的全称Least Absolute Shrinkage and Selection Operator,即最小绝对收缩选择算子。算法的适用场景: Lasso回归是有监督机器学习的一种常见的回归方法。算法的基本逻辑:一般来说,有监督的机器学习都有以下形式的优化目标:其中第一部分就是Loss函数,第二部分正则化项。由此可以看出基本上所有的有监督机器学习,其核心思想无非就是...

weixin_32597695的博客 4815

R语言实现LASSO回归——自己编写LASSO回归算法

最近我们被客户要求撰写关于LASSO的研究报告,包括一些图形和统计输出。这篇文章中我们可以编写自己的代码来计算套索(lasso)回归,我们必须定义阈值函数。

拓端研究室TRL 2208
上一篇: 【回归算法】K近邻回归(KNN回归)详解
下一篇: 第7章 注意力机制与Transformer
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值