Lasso回归详解
本内容专为本科生、研究生梳理,用通俗的语言讲解Lasso回归的核心原理、算法流程、实战案例及模型选型,兼顾理论理解与代码实现,同时对比了同类正则化回归算法,方便大家在实战中选择。
Lasso回归是带L1正则化的线性回归算法,名字来源于Least Absolute Shrinkage and Selection Operator的缩写,直译是“最小绝对收缩和选择算子”。它在普通线性回归的基础上增加了惩罚项,核心能力是自动将不重要特征的回归系数压缩为0,从而实现特征选择,让模型更简洁、泛化能力更强,主要用于数值型数据的回归预测(如房价、销售额、气温等)。
一、为什么要使用Lasso回归?
我们在做回归分析时,常会遇到特征维度多、存在冗余特征的问题,普通线性回归无法解决这些问题,而Lasso回归能完美适配,核心原因有3点:
- 自动特征选择:能将对预测结果无足轻重的特征系数缩为0,只保留重要特征,解决“特征太多无从筛选”的问题;
- 简化模型:剔除冗余特征后,模型的解释性会大幅提升,方便本、研究生做结果分析和论文写作;
- 防止过拟合:通过对回归系数加惩罚约束,避免模型过度拟合训练数据的噪声,提升模型在未知测试集上的预测能力。
简单来说,Lasso回归既保留了线性回归的简单高效,又解决了其易过拟合、无法选特征的痛点。
二、Lasso回归的理论基础
Lasso回归的核心是在普通最小二乘法的损失函数中加入L1正则化惩罚项,本部分从数学公式、公式推理、算法流程、几何解释四个维度讲解,是本、研究生需要掌握的核心理论。
1. 数学公式:对比普通线性回归
Lasso回归的公式建立在普通最小二乘法(OLS) 基础上,先明确普通线性回归的优化目标,再理解Lasso的公式就会非常容易。
(1)普通线性回归的损失函数
普通线性回归的目标是找到一组回归系数向量www,让残差平方和最小,公式为:
minw∑i=1n(yi−xi⊤w)2\min _{w} \sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right)^{2}wmini=1∑n(yi−xi⊤w)2
其中:
- nnn:样本总数;
- xix_{i}xi:第iii个样本的特征向量;
- yiy_{i}yi:第iii个样本的目标值(要预测的数值);
- www:回归系数向量(每个特征对应一个系数);
- xi⊤wx_i^\top wxi⊤w:第iii个样本的预测值。
(2)Lasso回归的损失函数
Lasso回归在普通线性回归的损失函数中,加入了L1正则化惩罚项(所有回归系数的绝对值之和),优化目标变为:
minw(∑i=1n(yi−xi⊤w)2+λ∑j=1p∣wj∣)\min _{w}\left(\sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right)^{2}+\lambda \sum_{j=1}^{p}\left|w_{j}\right|\right)wmin(i=1∑n(yi−xi⊤w)2+λj=1∑p∣wj∣)
其中:
- ppp:特征的总数;
- wjw_jwj:第jjj个特征对应的回归系数;
- λ\lambdaλ:正则化参数(核心超参数),用于控制惩罚项的权重:
- λ=0\lambda=0λ=0:Lasso回归退化为普通线性回归,无惩罚;
- λ\lambdaλ越大:惩罚力度越强,更多特征的系数会被压缩为0;
- λ\lambdaλ越小:惩罚力度越弱,被压缩为0的特征越少。
2. 公式推理:从优化问题到梯度计算
Lasso回归的本质是带约束的优化问题,我们可以通过梯度下降法求解最优回归系数www,这也是代码实现的核心原理。
(1)损失函数的拆分
将Lasso回归的损失函数记为JLasso(w)J_{Lasso}(w)JLasso(w),可拆分为普通最小二乘项和L1正则化项:
JLasso(w)=∑i=1n(yi−xi⊤w)2⏟普通最小二乘项JOLS(w)+λ∑j=1p∣wj∣⏟L1正则化项J_{Lasso }(w)=\underbrace{\sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right)^{2}}_{普通最小二乘项J_{OLS}(w)}+\underbrace{\lambda \sum_{j=1}^{p}\left|w_{j}\right|}_{L1正则化项}JLasso(w)=普通最小二乘项JOLS(w)i=1∑n(yi−xi⊤w)2+L1正则化项λj=1∑p∣wj∣
(2)梯度下降的核心思想
梯度下降法的核心是沿着损失函数的负梯度方向更新参数,直到参数收敛(变化量极小或达到最大迭代次数),更新规则为:
w←w−α∇JLasso(w)w \leftarrow w-\alpha \nabla J_{Lasso }(w)w←w−α∇JLasso(w)
其中:
- α\alphaα:学习率,控制每次参数更新的步长(过大会震荡,过小会收敛慢);
- ∇JLasso(w)\nabla J_{Lasso}(w)∇JLasso(w):Lasso损失函数对www的梯度。
(3)梯度的计算
梯度是偏导数的向量形式,分别计算两部分的梯度再求和即可:
-
普通最小二乘项的梯度:
∇JOLS(w)=−2∑i=1n(yi−xi⊤w)xi\nabla J_{OLS}(w)=-2 \sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right) x_{i}∇JOLS(w)=−2i=1∑n(yi−xi⊤w)xi -
L1正则化项的梯度:
L1范数∣wj∣|w_j|∣wj∣在wj=0w_j=0wj=0处导数不连续,因此用符号函数sign(wj)sign(w_j)sign(wj) 表示其导数,梯度为:
∇(λ∑j=1p∣wj∣)=λsign(wj)\nabla\left(\lambda \sum_{j=1}^{p}\left|w_{j}\right|\right)=\lambda sign\left(w_{j}\right)∇(λj=1∑p∣wj∣)=λsign(wj)
其中符号函数:sign(wj)=1sign(w_j)=1sign(wj)=1(wj>0w_j>0wj>0),sign(wj)=−1sign(w_j)=-1sign(wj)=−1(wj<0w_j<0wj<0),sign(wj)=0sign(w_j)=0sign(wj)=0(wj=0w_j=0wj=0)。 -
Lasso回归的总梯度:
∇JLasso(w)=−2∑i=1n(yi−xi⊤w)xi+λsign(w)\nabla J_{Lasso }(w)=-2 \sum_{i=1}^{n}\left(y_{i}-x_{i}^{\top} w\right) x_{i}+\lambda sign(w)∇JLasso(w)=−2i=1∑n(yi−xi⊤w)xi+λsign(w)
注意:梯度下降法不是求解Lasso的唯一方法,坐标下降法也是常用方法,适合处理高维数据,Scikit-learn中Lasso回归的底层实现也用到了坐标下降法。
3. 算法流程(梯度下降法)
Lasso回归的算法流程固定,本、研究生可按此流程手动实现算法,步骤清晰且易操作:
步骤1:初始化参数
- 设置超参数:学习率α\alphaα、正则化参数λ\lambdaλ、最大迭代次数;
- 初始化回归系数www:通常初始化为全0或小的随机值。
步骤2:迭代更新参数
重复以下操作,直到参数收敛或达到最大迭代次数:
- 计算预测值:y^i=xi⊤w\hat{y}_{i}=x_{i}^{\top} wy^i=xi⊤w;
- 计算预测误差:ei=yi−y^ie_{i}=y_{i}-\hat{y}_{i}ei=yi−y^i;
- 计算Lasso损失函数的梯度:∇JLasso(w)=−2∑i=1neixi+λsign(w)\nabla J_{Lasso }(w)=-2 \sum_{i=1}^{n} e_{i} x_{i}+\lambda sign(w)∇JLasso(w)=−2∑i=1neixi+λsign(w);
- 按梯度下降规则更新系数:w←w−α∇JLasso(w)w \leftarrow w-\alpha \nabla J_{Lasso }(w)w←w−α∇JLasso(w)。
步骤3:输出结果
输出收敛后的最终回归系数www,此时系数中为0的项对应被剔除的不重要特征,非零项对应保留的重要特征。
4. 几何解释:为什么Lasso能实现特征选择?
几何解释能帮助本、研究生直观理解Lasso的特征选择原理,我们以两个特征(w1w_1w1、w2w_2w2) 的简单场景为例讲解,高维场景的逻辑一致。
- 普通最小二乘的等值线:对于OLS的损失函数,其取值相同的点构成的曲线是椭圆形(等值线),椭圆的中心是OLS的最优解(无惩罚时的系数);
- L1正则化的约束域:L1正则化项λ∑∣wj∣≤C\lambda\sum|w_j| \leq Cλ∑∣wj∣≤C(CCC为常数)在二维空间中是菱形,这是回归系数www的取值范围;
- 最优解的交点:Lasso的最优解是椭圆与菱形的切点,而菱形的切点大概率出现在顶点处(如w1=0w_1=0w1=0或w2=0w_2=0w2=0),顶点处对应的特征系数为0,从而实现特征选择。
简单来说:L1正则化的菱形约束域让最优解的系数更容易为0,而这是L2正则化(岭回归)的圆形约束域做不到的,这也是Lasso能选特征、岭回归不能的核心原因。
三、Lasso回归实战案例:加州房价预测
以加州房价数据集为例,用Python+Scikit-learn实现Lasso回归的全流程,包含数据加载、预处理、特征工程、模型优化、评估、可视化,代码可直接运行,适合本、研究生动手实践,理解理论如何落地。
案例目标
用Lasso回归预测加州各区域的房屋中位数价格,通过网格搜索找到最优正则化参数α\alphaα,实现特征选择并评估模型效果。
技术要点
- 特征缩放:线性回归类模型对特征量纲敏感,需用标准化消除量纲影响;
- 超参数优化:用
GridSearchCV网格搜索+5折交叉验证找最优α\alphaα; - 模型评估:用均方误差(MSE)和R2分数评估预测效果;
- 特征选择:通过回归系数是否为0,筛选对房价有重要影响的特征。
完整代码(含详细注释)
# 导入所需库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 导入模型、评估指标、数据划分、预处理工具
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.linear_model import Lasso
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler
# 导入加州房价数据集
from sklearn.datasets import fetch_california_housing
# ===================== 步骤1:加载和探索数据 =====================
data = fetch_california_housing()
# 转换为DataFrame,方便数据处理
df = pd.DataFrame(data.data, columns=data.feature_names)
df['MedHouseVal'] = data.target # 目标变量:房屋中位数价格
# 查看数据前5行和统计信息
print("数据前5行:\n", df.head())
print("数据统计信息:\n", df.describe())
# ===================== 步骤2:数据预处理 =====================
# 1. 检查缺失值(加州房价数据集无缺失值,此处为通用步骤)
print("各特征缺失值数量:\n", df.isnull().sum())
# 2. 分离特征和目标变量
X = df.drop('MedHouseVal', axis=1) # 特征
y = df['MedHouseVal'] # 目标变量
# 3. 划分训练集(80%)和测试集(20%),random_state保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 4. 特征标准化(核心步骤!消除量纲影响)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train) # 训练集拟合+转换
X_test_scaled = scaler.transform(X_test) # 测试集仅转换,避免数据泄露
# ===================== 步骤3:特征工程(相关性分析) =====================
# 绘制特征相关性热力图,分析特征间的线性关系
plt.figure(figsize=(10, 8))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm', linewidths=0.5)
plt.title('Feature Correlation Heatmap', fontsize=16)
plt.tight_layout()
plt.show()
# ===================== 步骤4:建立并优化Lasso模型 =====================
# 初始化Lasso回归模型
lasso = Lasso()
# 定义超参数网格:alpha取10^-4到10^4之间的50个对数间距值,覆盖所有可能的惩罚力度
param_grid = {'alpha': np.logspace(-4, 4, 50)}
# 网格搜索+5折交叉验证,以负均方误差为评分标准
grid_search = GridSearchCV(lasso, param_grid, cv=5, scoring='neg_mean_squared_error')
grid_search.fit(X_train_scaled, y_train) # 在标准化后的训练集上训练
# 输出最优超参数和对应的模型
best_alpha = grid_search.best_params_['alpha']
print(f"最优正则化参数alpha = {best_alpha:.6f}")
# 用最优alpha训练最终模型
lasso_opt = Lasso(alpha=best_alpha)
lasso_opt.fit(X_train_scaled, y_train)
# 查看特征系数,筛选重要特征(系数≠0的为重要特征)
feature_coef = pd.Series(lasso_opt.coef_, index=X.columns)
print("\nLasso回归的特征系数(系数=0表示特征被剔除):\n", feature_coef)
important_features = feature_coef[feature_coef != 0].index.tolist()
print(f"\nLasso筛选出的重要特征:{important_features}")
# ===================== 步骤5:模型评估 =====================
# 在训练集和测试集上进行预测
y_pred_train = lasso_opt.predict(X_train_scaled)
y_pred_test = lasso_opt.predict(X_test_scaled)
# 计算MSE(均方误差,越小越好)和R2(决定系数,越接近1拟合效果越好)
mse_train = mean_squared_error(y_train, y_pred_train)
mse_test = mean_squared_error(y_test, y_pred_test)
r2_train = r2_score(y_train, y_pred_train)
r2_test = r2_score(y_test, y_pred_test)
# 输出评估指标
print(f"\n训练集MSE:{mse_train:.4f}")
print(f"测试集MSE:{mse_test:.4f}")
print(f"训练集R2:{r2_train:.4f}")
print(f"测试集R2:{r2_test:.4f}")
# ===================== 步骤6:结果可视化 =====================
# 绘制真实值vs预测值散点图,直观看拟合效果
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred_test, alpha=0.6, color='deepskyblue', edgecolor='k')
# 红色虚线:完美拟合线(真实值=预测值)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2)
plt.xlabel('Actual House Price', fontsize=14)
plt.ylabel('Predicted House Price', fontsize=14)
plt.title('Lasso Regression: Actual vs Predicted House Prices', fontsize=16)
plt.tight_layout()
plt.show()
# 绘制特征系数可视化图,直观展示特征重要性
plt.figure(figsize=(12, 6))
feature_coef.plot(kind='bar', color=['red' if c == 0 else 'deepskyblue' for c in feature_coef])
plt.axhline(y=0, color='black', linestyle='-', lw=0.5)
plt.xlabel('Features', fontsize=14)
plt.ylabel('Regression Coefficient', fontsize=14)
plt.title('Lasso Regression: Feature Coefficients', fontsize=16)
plt.tight_layout()
plt.show()
案例关键注意点
- 特征标准化:Lasso回归对特征的量纲高度敏感(如“人口数”是万级,“房龄”是十级),标准化后才能让惩罚项对所有特征一视同仁;
- 超参数搜索:α\alphaα的取值直接决定模型效果,手动试错效率低,网格搜索+交叉验证是科学的调参方法;
- 特征选择:直接查看回归系数即可,系数为0的特征被Lasso自动剔除,这是最直观的特征选择结果;
- 模型泛化性:训练集和测试集的R2分数应接近,若差距过大,说明模型仍存在过拟合/欠拟合,需调整α\alphaα。
四、Lasso回归的优缺点
Lasso回归是经典的正则化回归算法,有明显的优势,也存在一定的局限性,本、研究生在实战中需结合数据特点判断是否适用。
优点
- 自带特征选择:核心优势,能自动将不重要特征的系数压缩为0,无需手动筛选特征,适合高维数据;
- 有效防止过拟合:L1正则化的惩罚项约束了回归系数的大小,避免模型过度拟合训练数据的噪声,提升泛化能力;
- 简单高效:基于线性回归拓展,计算复杂度低,训练速度快,易实现且易解释;
- 生成稀疏模型:仅保留重要特征,模型结构简单,方便后续的结果分析和落地。
缺点
- 处理多重共线性能力弱:当特征之间存在高度线性相关(如身高和体重、面积和户型)时,Lasso可能随机剔除其中一个特征,导致特征选择结果不准确,模型性能下降;
- 大规模数据调参效率低:若用网格搜索+交叉验证调参,在百万级以上的大规模数据集上,计算量会显著增加,训练时间变长;
- 解释性受数据影响:虽然模型整体简单,但当数据存在异常值、非线性关系时,Lasso的系数解释性会大幅下降;
- 极端高维数据表现一般:对于特征数远大于样本数的极端高维数据,Lasso的特征选择效果会变差,需结合Elastic Net回归。
五、Lasso回归与同类正则化回归算法的对比
与Lasso回归最相似的是Ridge回归(岭回归,L2正则化)和Elastic Net回归(弹性网,L1+L2正则化),三者均为线性回归的正则化拓展,核心区别在正则化方式,本部分用表格清晰对比,方便本、研究生实战选型。
| 对比维度 | Lasso回归(L1正则化) | Ridge回归(L2正则化) | Elastic Net回归(L1+L2正则化) |
|---|---|---|---|
| 正则化方式 | 系数的绝对值之和 | 系数的平方和 | 结合L1和L2的惩罚项,加权求和 |
| 特征选择 | 支持,系数可被压缩为0,生成稀疏模型 | 不支持,系数仅被缩小,不会为0,保留所有特征 | 支持,系数可被压缩为0,实现特征选择 |
| 多重共线性处理 | 能力弱,易随机剔除相关特征 | 能力强,能有效缓解特征间的多重共线性 | 能力强,兼顾Lasso的特征选择和Ridge的抗共线性 |
| 核心优点 | 自动特征选择、模型稀疏、简单易解释 | 抗多重共线性、计算稳定、适合小样本高维数据 | 结合前两者优点,适配性强,适合极端高维数据 |
| 核心缺点 | 处理多重共线性能力弱、特征选择可能随机 | 无法特征选择、模型复杂、保留冗余特征 | 需调整两个超参数,调参复杂度高 |
| 适用场景 | 高维数据、特征冗余多、需稀疏模型的回归任务 | 特征存在多重共线性、需保留所有特征的回归任务 | 极端高维数据、特征共线性强、需特征选择的任务 |
| 超参数调优 | 仅需调整1个参数(α\alphaα,惩罚力度) | 仅需调整1个参数(α\alphaα,惩罚力度) | 需调整2个参数(L1惩罚权重、L2惩罚权重) |
| 模型简洁性 | 高,仅保留重要特征 | 低,保留所有特征,存在冗余 | 中,保留重要特征,结构简洁 |
| 计算复杂度 | 低,线性计算,训练速度快 | 低,比Lasso稍快,计算更稳定 | 中,比前两者稍高,调参时计算量增加 |
六、Lasso回归的适用场景与选型建议
Lasso回归并非万能,实战中需结合数据特点、任务需求选择算法,以下是明确的适用场景和优选其他算法的情况,本、研究生可直接参考。
适合使用Lasso回归的场景
- 高维数据且特征冗余多:特征数量多(如百维/千维),但仅有少数特征对预测结果有重要影响,如基因数据、文本特征数据;
- 需要自动特征选择:不想手动筛选特征,或手动筛选成本高,希望模型自带特征选择功能,生成稀疏模型;
- 追求模型的简洁性和解释性:如论文写作、业务落地场景,需要模型结构简单,能清晰解释特征对目标变量的影响;
- 小样本高维数据防过拟合:样本数少(如几百/几千)但特征数多,普通线性回归易过拟合,Lasso的正则化能有效缓解。
优选其他算法的场景
- 特征存在多重共线性:特征之间高度相关,优先选Ridge回归或Elastic Net回归;
- 需要保留所有特征:如金融、医疗等场景,所有特征均有业务意义,不能随意剔除,优先选Ridge回归;
- 极端高维数据(特征数>>样本数):如基因测序、图像像素数据,优先选Elastic Net回归;
- 数据存在非线性关系:Lasso是线性模型,无法拟合非线性数据,优先选决策树/随机森林回归、SVR等非线性算法;
- 大规模数据集(百万级以上):优先选随机森林/梯度提升树,训练效率更高且泛化能力更强。
七、总结
Lasso回归是最经典的带特征选择的正则化线性回归算法,核心是L1正则化的惩罚项,实现了“回归预测+特征选择”的双重功能,简单、高效、易解释,是本、研究生学习机器学习回归算法的必学内容,也是高维回归任务中的基准模型。
其核心价值在于自动筛选特征、生成稀疏模型,非常适合高维、特征冗余多的回归场景,但在特征存在多重共线性时表现不佳,这一痛点可通过Elastic Net回归(L1+L2)解决。
在实战选型中,本、研究生需牢记:
- 只需特征选择,无多重共线性 → 选Lasso回归;
- 有多重共线性,无需特征选择 → 选Ridge回归;
- 既需特征选择,又有多重共线性 → 选Elastic Net回归;
- 数据存在非线性关系 → 直接放弃正则化线性回归,选树模型、SVR等非线性算法。
Lasso回归的学习重点不仅是公式和代码,更在于理解L1正则化的本质,以及正则化参数对模型的影响,这也是后续学习其他正则化算法的基础。
2087



被折叠的 条评论
为什么被折叠?



