【特征选择方法】L1正则化(Lasso)

【机器学习】Lasso模型 大V 阅读详情

特征选择神器:L1正则化(Lasso)|原理+公式+Python实战全攻略

L1正则化(又称Lasso回归)是高维数据特征选择、防止模型过拟合的核心方法,能自动将不重要的特征系数压缩为0,实现“建模即筛选”。


一、先搞懂:为什么需要L1正则化?

1. 特征选择的核心痛点

现实场景中,特征往往成百上千(如基因数据、文本数据),但大部分特征:

  • 无用(如“星座”与“感冒概率”)
  • 冗余(如“身高”与“体重”高度相关)
  • 干扰模型(增加过拟合风险、降低解释性)

手动筛选特征效率低,而L1正则化能自动剔除无用特征,让模型更简洁、更易解释。

2. L1正则化的核心作用

  • 特征选择:不重要特征的系数→0,相当于被“扔掉”
  • 防止过拟合:惩罚大系数,避免模型过度依赖个别特征
  • 提升解释性:最终只保留关键特征,直观知道“哪些因素起作用”

二、L1正则化是什么?通俗理解

1. 本质:给模型加“惩罚项”

普通线性回归只追求“拟合数据最好”,而L1正则化在此基础上,增加对“特征系数绝对值之和”的惩罚:

  • 重要特征:系数大,惩罚后仍保留较大值
  • 不重要特征:系数小,惩罚后直接变成0

2. 形象比喻:“套索(Lasso)”

L1正则化的英文“Lasso”本意是“套索”,可以理解为:
用套索把所有特征“捆住”,然后慢慢收紧——不重要的特征被直接“勒断”(系数→0),只剩关键特征留在模型里。


三、核心公式(必须掌握)

1. 普通线性回归目标函数(最小二乘)

minβ12n∑i=1n(yi−xi⊤β)2 min_{\beta} \frac{1}{2n}\sum_{i=1}^n (y_i - x_i^\top \beta)^2 minβ​2n1​i=1∑n​(yi​−xi⊤​β)2

  • 只关注“预测值与真实值的误差最小”,容易导致系数过大(过拟合)

2. L1正则化(Lasso)目标函数

minβ12n∥y−Xβ∥22+λ∑j=1p∣βj∣ min_{\beta} \frac{1}{2n}\|y - X\beta\|_2^2 + \lambda \sum_{j=1}^p |\beta_j| minβ​2n1​∥y−Xβ∥22​+λj=1∑p​∣βj​∣
或向量形式:
minβ12n∥y−Xβ∥22+λ∥β∥1 min_{\beta} \frac{1}{2n}\|y - X\beta\|_2^2 + \lambda \|\beta\|_1 minβ​2n1​∥y−Xβ∥22​+λ∥β∥1​

各部分含义:
  • ∥y−Xβ∥22\|y - X\beta\|_2^2∥y−Xβ∥22​:残差平方和(拟合误差项)
  • λ\lambdaλ:正则化系数(惩罚强度)
    • λ\lambdaλ 越大:惩罚越重,越多系数→0(特征越少)
    • λ\lambdaλ 越小:惩罚越轻,系数越接近普通回归(特征越多)
  • ∥β∥1=∑j=1p∣βj∣\|\beta\|_1 = \sum_{j=1}^p |\beta_j|∥β∥1​=∑j=1p​∣βj​∣:L1范数(惩罚项核心),即所有特征系数的绝对值之和

四、关键原理:为什么L1能让系数→0?

1. 几何解释(最直观)

  • 目标函数的等高线:椭圆(越靠近中心,拟合误差越小)
  • L1正则化的约束边界:菱形(二维)/超正方体(高维)

当椭圆与菱形“相切”时,切点大概率落在坐标轴上——此时对应特征的系数βj=0\beta_j=0βj​=0,实现稀疏性(部分特征被剔除)。

而L2正则化(岭回归)的约束边界是“圆”,切点很少落在坐标轴上,无法产生稀疏解。

2. 数学解释:软阈值函数

Lasso的最优解满足“软阈值函数”(设计矩阵正交时的封闭解):
β^jLasso=sign(β^jOLS)⋅max(∣β^jOLS∣−λ,0) \hat{\beta}_j^{Lasso} = sign(\hat{\beta}_j^{OLS}) \cdot max(|\hat{\beta}_j^{OLS}| - \lambda, 0) β^​jLasso​=sign(β^​jOLS​)⋅max(∣β^​jOLS​∣−λ,0)

  • β^jOLS\hat{\beta}_j^{OLS}β^​jOLS​:普通线性回归的系数
  • 规则:
    1. 若∣β^jOLS∣≤λ|\hat{\beta}_j^{OLS}| \leq \lambda∣β^​jOLS​∣≤λ:系数直接→0(特征被剔除)
    2. 若∣β^jOLS∣>λ|\hat{\beta}_j^{OLS}| > \lambda∣β^​jOLS​∣>λ:系数减去λ\lambdaλ(保留但被惩罚)

3. 求解算法(不用深钻,知道即可)

L1正则化的目标函数在βj=0\beta_j=0βj​=0处不可导,常用求解方法:

  • 坐标下降法:依次优化单个系数,效率高(sklearn默认用)
  • 子梯度法:处理不可导点
  • LARS-Lasso:适合小样本高维数据

五、L1正则化特征选择完整流程(必背)

  1. 数据准备:输入特征矩阵XXX,目标变量yyy
  2. 特征标准化(关键步骤):
    L1对特征尺度敏感(如“收入(元)”和“年龄(岁)”),需标准化为“均值=0,方差=1”
  3. 设置正则化系数λ\lambdaλ:
    控制惩罚强度,需通过交叉验证优化
  4. 训练Lasso模型:最小化目标函数,得到稀疏系数β\betaβ
  5. 筛选特征:保留βj≠0\beta_j \neq 0βj​=0的特征,剔除βj=0\beta_j=0βj​=0的特征
  6. 模型评估:用筛选后的特征重新建模,验证性能

六、Python 完整实战:加利福尼亚房价特征选择

1. 导入库+加载数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import Lasso, LassoCV
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, r2_score
import warnings
warnings.filterwarnings("ignore")

# 加载数据(20640个样本,8个特征)
california = fetch_california_housing()
X = pd.DataFrame(california.data, columns=california.feature_names)
y = california.target

print("样本数:", X.shape[0])
print("特征数:", X.shape[1])
print("特征名:", list(X.columns))
X.head()

2. 数据预处理(拆分+标准化)

# 拆分训练集/测试集(7:3)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# 标准化(L1必须步骤)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

3. 初始Lasso模型(固定λ\lambdaλ)

# 设置初始正则化系数
alpha_init = 0.1
lasso_init = Lasso(alpha=alpha_init)
lasso_init.fit(X_train_scaled, y_train)

# 查看特征系数
coef_init = pd.Series(lasso_init.coef_, index=X.columns)
print("=== 初始Lasso(alpha=0.1)特征系数 ===")
print(coef_init)
print(f"被剔除的特征数(系数=0):", sum(coef_init == 0))

# 模型性能评估
y_pred_init = lasso_init.predict(X_test_scaled)
print(f"\nMSE(均方误差):", mean_squared_error(y_test, y_pred_init).round(3))
print(f"R²(决定系数):", r2_score(y_test, y_pred_init).round(3))

4. 交叉验证找最优λ\lambdaλ(推荐做法)

# LassoCV:自动交叉验证选最优alpha
lasso_cv = LassoCV(cv=5, max_iter=10000, random_state=42)
lasso_cv.fit(X_train_scaled, y_train)

print(f"\n=== 交叉验证最优结果 ===")
print(f"最优alpha:", lasso_cv.alpha_.round(4))

# 用最优alpha建模
lasso_best = Lasso(alpha=lasso_cv.alpha_)
lasso_best.fit(X_train_scaled, y_train)
coef_best = pd.Series(lasso_best.coef_, index=X.columns)

print("\n最优模型特征系数:")
print(coef_best)
print(f"被剔除的特征数:", sum(coef_best == 0))

# 最优模型性能
y_pred_best = lasso_best.predict(X_test_scaled)
print(f"\n最优模型 MSE:", mean_squared_error(y_test, y_pred_best).round(3))
print(f"最优模型 R²:", r2_score(y_test, y_pred_best).round(3))

5. 特征系数可视化

plt.figure(figsize=(10, 6))
coef_best.sort_values().plot(kind='barh', color=['red' if c == 0 else 'skyblue' for c in coef_best])
plt.title("Lasso最优模型特征系数(红色=被剔除特征)", fontsize=14)
plt.xlabel("系数值", fontsize=12)
plt.grid(alpha=0.3, axis='x')
plt.tight_layout()
plt.show()

6. 筛选特征后建模(最终步骤)

# 筛选系数≠0的特征
selected_features = coef_best[coef_best != 0].index.tolist()
print("=== 最终筛选的特征 ===")
print(selected_features)

# 用筛选后的特征重新训练模型
X_train_selected = X_train[selected_features]
X_test_selected = X_test[selected_features]

# 标准化筛选后的特征
scaler_selected = StandardScaler()
X_train_selected_scaled = scaler_selected.fit_transform(X_train_selected)
X_test_selected_scaled = scaler_selected.transform(X_test_selected)

# 训练线性回归模型
from sklearn.linear_model import LinearRegression
model_final = LinearRegression()
model_final.fit(X_train_selected_scaled, y_train)

# 最终性能
y_pred_final = model_final.predict(X_test_selected_scaled)
print(f"\n筛选后模型 R²:", r2_score(y_test, y_pred_final).round(3))

七、L1正则化的优缺点(必背)

优点

  1. 自动特征选择:系数→0实现稀疏性,无需手动筛选
  2. 模型简洁易解释:只保留关键特征,可直接解释“哪些因素起作用”
  3. 适用于高维数据:特征数远大于样本数(p≫np \gg np≫n)时仍有效(如基因、文本数据)
  4. 计算高效:用坐标下降法求解,收敛快,适合大规模数据

缺点

  1. 对多重共线性敏感:特征高度相关时,会随机剔除部分相关特征(即使都重要)
  2. 最多选n个特征:样本数为n时,Lasso最多保留n个非零特征
  3. 依赖λ\lambdaλ调优:λ\lambdaλ 过大/过小会导致“特征过少/过拟合”,需交叉验证
  4. 只适用于线性关系:无法捕捉非线性特征交互(需配合特征工程,如多项式扩展)

八、L1与其他特征选择方法对比

方法核心原理是否稀疏考虑特征相关性嵌入模型训练
L1正则化(Lasso)L1范数惩罚是否(敏感)是
L2正则化(Ridge)L2范数惩罚否是(平滑处理)是
Elastic NetL1+L2混合惩罚是是(缓解共线性)是
Filter法(相关系数)统计指标排序是否否
Wrapper法(RFE)模型性能递归筛选是是是
树模型(随机森林)节点分裂贡献是是是

九、适用场景与替代方案

优先用L1正则化的情况

  1. 高维数据(p≫np \gg np≫n):如文本、基因、图像特征
  2. 需强解释性:如经济建模、医学诊断、金融风控
  3. 模型需简洁:部署场景(如实时预测)
  4. 特征相关性低:无多重共线性

考虑其他方法的情况

  1. 特征高度相关:用Elastic Net(L1+L2混合)
  2. 仅防过拟合不筛选特征:用Ridge回归
  3. 非线性关系:用随机森林、XGBoost(自带特征重要性)
  4. 预测性能优先:用Wrapper法(如RFE+SVM)

十、最简单总结(背诵版)

  1. L1正则化(Lasso)= 线性回归 + L1范数惩罚
  2. 核心作用:自动筛选特征(系数→0)+ 防止过拟合
  3. 关键步骤:必须标准化特征 + 交叉验证调λ\lambdaλ
  4. 优点:高效、简洁、易解释,适用于高维数据
  5. 缺点:怕多重共线性,只适用于线性关系
岭回归和LASSO回归模型(简记Logistic回归分类模型) 岭回归和LASSO回归模型 目录一、岭回归模型1 λ 值的确定1.1 可视化方法确定 **λ** 值1.2 交叉验证法确定λ值2 模型预测 线性回归模型的参数估计得到的前提是变量构成的矩阵可逆。在实际问题中,常出现的问题: 可能会出现自变量个数多于样本 自变量间存在多重共线性的情况 为解决这类问题,可基于线性回归模型扩展的回归模型:岭回归和LASSO回归模型进行处理。 一、岭回归模型 在线性回... 阅读详情

相关推荐

【可解释机器学习】-线性回归案例【lasso特征选择版】(python)

可解释机器学习:黑盒模型可解释性理解指南 作者: 【德】 Christoph Molnar 出版社: 电子工业出版社 译者: 朱明超 英文版(作者在持续更新):Interpretable Machine Learning 原书github:GitHub - christophM/interpretable-ml-book: Book about interpretable machine learning 注意:原书使用R语言,本文的Python代码为我自己开发。内容基本参考原书,我进行了结构....

totobey的博客 1万+

【机器学习】3. 线性模型 - Lasso

上一篇:岭回归 文章目录lasso完整代码 lasso The Lasso 是估计稀疏系数的线性模型。 它在一些情况下是有用的,因为它倾向于使用具有较少参数值的情况,有效地减少给定解决方案所依赖变量的数量。 因此,Lasso 及其变体是压缩感知领域的基础。 在一定条件下,它可以恢复一组非零权重的精确集。 在数学公式表达上,它由一个带有 ℓ1\ell_1ℓ1​ 先验的正则项的线性模型组成。 其最小化的目标函数是: min w12nsamples∣∣Xw−y∣∣22+α∣∣w∣∣1\underset{w}{m

ZhShy 5193

L0,L1,L2正则化浅析

在机器学习的概念中,我们经常听到L0,L1,L2正则化,本文对这几种正则化做简单总结。 1、概念 L0正则化的值是模型参数中非零参数的个数。 L1正则化表示各个参数绝对值之和。 L2正则化标识各个参数的平方的和的开方值。 2、先讨论几个问题: 1)实现参数的稀疏有什么好处吗? 一个好处是可以简化模型,避免过拟合。因为一个模型中真正重要的参数可以并不多,如果考虑所有的参

vivi的技术博客 4万+

1.1.3. Lasso(套索回归)

1.1.3. Lasso 一、简介 首先,Lasso同样是线性回归的一种变体。而文档中指出,它是一种能让参数ω\omegaω稀疏的模型(作用)。它是压缩感知领域的基础(地位),在特定情况下,它可以“恢复一组非零权重的精确集”(这句话来着别人的翻译,我暂时还不明白)。 二、损失函数特性 在Ridge Regression中,我们介绍了正则项(惩罚项)Lasso和Ridge模型上的差别也主要体现在损失函数中不同的正则项上。 在Ridge中,我们为了约束参数ω\omegaω,我们给损失函数添上了关于ω\omeg

matrix_studio的博客 8622

机器学习算法—Lasso回归

Lasso通过引入L1正则化(即系数绝对值之和),能够将一些不重要的特征的系数压缩为零。这种稀疏性使得Lasso不仅是一个回归模型,还是一个特征选择工具。它可以帮助我们在高维数据中筛选出最重要的变量,从而简化模型并提高解释性。正则化的目的是防止过拟合。在普通最小二乘法中,如果特征之间存在多重共线性(即特征高度相关),或者特征数量远大于样本数量,模型可能会过度拟合训练数据,导致在测试数据上的表现不佳。Lasso通过对系数施加惩罚,限制了模型的复杂度,从而提高了泛化能力。

m0_66813240的博客 4404

机器学习--岭回归和Lasso回归

任何数据都存在噪声和多重共线性 如何解决多重共线性 ? 1.算法角度(正则化) 2.数据角度(最有效果) 岭回归与Lasso回归的出现是为了解决线性回归出现的过拟合(数据间高度线性相关)以及在通过正规方程方法求解θ的过程中出现的x转置乘以x不可逆这两类问题的,这两种回归均通过在损失函数中引入正则化项来达到目的,具体三者的损失函数对比见下图: 其中λ称为正则化参数,如果λ选取过大,会把所有参数θ均最小化,造成欠拟合,如果λ选取过小,会导致对过拟合问题解决不当,因此λ的选取是一个技术活。 岭回归与Lasso回

weixin_50267049的博客 8256

sklearn机器学习:特征选择-Lasso

Lasso的核心作用:特征选择 Lasso类的格式 sklearn.linear_model.Lasso (alpha=1.0, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random...

The Zen of Data Analysis 1万+

正则化L1和L2

1、 L1正则化通过向损失函数添加权重系数的绝对值之和来对模型参数进行惩罚。2、 L1正则化倾向于产生稀疏解,即它倾向于将模型中不重要的参数置为0,从而实现特征选择。这意味着在模型的最终解中,许多参数将是零,这有助于创建一个简洁的模型并减少模型的复杂性。3、 L1正则化不具有解析解,通常需要使用诸如坐标下降法或子梯度方法等优化算法求解。

敲代码的乔帮主 619

L1正则化(Lasso)原理与特征选择实战指南

特征选择是机器学习预处理中的关键环节,其核心目标是通过筛选高价值特征来提升模型性能。L1正则化(又称Lasso)是一种嵌入式特征选择方法,通过在损失函数中加入绝对值惩罚项,自动将不重要特征的系数压缩为零。这种基于线性回归的改进算法不仅能够降低模型复杂度,还能显著提升计算效率。从技术实现来看,Lasso通过调节超参数λ控制稀疏度,配合交叉验证可找到最优特征子集。在实际工程中,该方法特别适用于高维数据场景如基因组分析和文本挖掘,scikit-learn库提供了高效的LassoCV实现。相比过滤式和包裹式方法,L

weixin_29055699的博客 281

岭回归与LASSO回归:正则化方法的比较与应用

岭回归(Ridge Regression)和LASSO回归(Least Absolute Shrinkage and Selection Operator Regression)是两种常见的正则化方法,用于处理线性回归问题中的多重共线性以及特征选择。综上所述,岭回归和LASSO回归是常用的正则化方法,用于处理线性回归中的多重共线性和特征选择问题。其中,Y是因变量,X是自变量矩阵,β是回归系数,λ是正则化参数。其中,Y是因变量,X是自变量矩阵,β是回归系数,λ是正则化参数。与岭回归不同的是,这里指定。

PixelLoom的博客 316

机器学习-特征选择:使用Lassco回归精确选择最佳特征

Lasso回归,也称为最小绝对收缩和选择算子回归,是一种线性回归方法。其基本原理是在普通最小二乘法的基础上,引入L1正则化项,通过最小化目标函数来实现模型的特征选择和系数稀疏化。Lasso回归的目标函数如下所示: minimize ||Y - Xβ||^2 + λ||β||₁ 其中,Y是观测值向量,X是特征矩阵,β是待估计的回归系数向量,λ是控制正则化强度的超参数。L1正则化项λ||β||₁在目标函数中起到了关键作用。它引入了稀疏性,即使得一些特征的系数被压缩为零,从而实现了自动的特征选择。

我走的每一步都算数 2133

六、回归——套索回归 (Lasso Regression)的基本应用

一、使用场合 与岭回归类似,套索 (Least Absolute Shrinkage and Selection Operator) 也会对回归系数的绝对值添加一个罚值。此外,它能降低偏差并提高线性回归模型的精度。看看下面的等式: 套索回归与岭回归有一点不同,它在惩罚部分使用的是绝对值,而不是平方值。这导致惩罚(即用以约束估计的绝对值之和)值使一些参数估计结果等于零。使用的惩罚值越大,估计...

Nicole的博客 4万+

squidpy 教程 1:在 AnnData 和 Squidpy 中导入空间数据

这些是 10x Genomics Visium 的 Space Ranger 输出提供的 keys,因此是第一个被采用的 keys。在这种情况下,我们假设空间坐标与像素具有相同的比例,因此我们将该值设置为 1。为此,我们将使用模拟数据集,并通过示例展示您应该注意的重要细节,以便利用 AnnData-Scanpy-Squidpy 生态系统的全部功能。并不是绝对必要的,但会节省您大量的输入,因为它是 Squidpy 和 Scanpy 的默认值。正如你所看到的,空间坐标被缩小了,图像被“放大”了。

🧑‍🎓 博士研究生在读 🔬 分享生物信息学、神经生物学方面的知识 💬 合作请在后台留言 2258

【skLearn 回归模型】Lasso <linear_model.Lasso>

文章目录Lasso概念• 定义• Lasso处理多重共线性原理二、linear_model.Lasso 类案例:Lasso特征选取① 读取数据集② 划分训练集、测试集③ 对线性回归、岭回归、Lasso进行对比④ 学习曲线 Lasso概念 • 定义 LASSO是由1996年Robert Tibshirani首次提出,全称Least absolute shrinkage and selection operator。该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型,使得它压缩一些回归系数..

懂得一千零一种,赋予你失败的方法! 5584

【TouchDesigner】三维渲染

Cmera COMP Uniform Scale(按比例缩放):沿x,y,z三个轴等比例缩放相机(通常不建议改变相机大小)。 Constrain To(约束到):让相机附属到某个指定元件上,跟随指定元件运动。 Look At(朝向):让相机在移动过程中始终面对指定的元件。 Pah SOP(相机的路径):输入SOP元件名字,为相机指定移动路径。 Geometry Comp Geometry COMP中的参数与Camera COMP中的参数用法大部分都相似。特殊的是它的instacne页面的

wangpuqing1997的博客 5462

电芯外观及体系设计(Cell Design)-①容量平衡设计(Cell Balance Design)

全面获取并正确解读客户需求,将需求进行分解和预判,结合公司现有资源、技术,给出设计方案。一个优秀的电芯设计方案,应该是稳健的,可操作的,满足客户需求的同时,并能为公司带来较多利润。电芯设计需同时考虑周期,性能,品质,加工性,成本,及安全与稳健性。设计人员时刻要有成本控制观念,但利润则是由公司战略所决定。

FDC1303864002的博客 1355

python 怎么算l2范数_数学推导+纯Python实现机器学习算法13:Lasso回归

版权说明:本公号转载文章旨在学习交流,不用于任何商业用途,版权归原作者所有,如有异议,敬请后台联络我们,议定合作或删除,我们将第一时间按版权法规定妥善处理,非常感谢!Python机器学习算法实现Author:louwill本节我们要介绍的是基于L1正则化的Lasso模型,下一节介绍基于L2正则化的Ridge模型。在正式介绍这两种模型之前,笔者还是想带大家复习一下过拟合和正则化等机器学习关...

weixin_42316319的博客 666

自组织映射神经网络(SOM)

目录 1 背景:自组织(竞争型)神经网络 2竞争学习的概念与原理 2.1 竞争学习的步骤 2.2 示例 3SOM典型结构 4SOM网的权值调整域 5 SOM Kohonen 学习算法 6 SOM示例 7SOM设计细节 7.1输出层设计 7.2输出层节点排列的设计 7.3 权值初始化问题 7.4学习率的设计 7.5设计拓扑领域 8SOM功能分析 8.1 保序映射 8.2数据压缩 8.3 特征提取 9自组织映射神经网络与K均值算法的区别...

weixin_39910711的博客 1万+

数据预处理—2.为什么Lasso回归可以做特征选择(变量挑选)而岭回归做不到呢?

文章目录1.问题解答 1.问题解答   Lasso回归与岭回归都是对线性回归进行正则化。 线性回归的损失函数为: RSS=J(w)=∑i=1N(yi−w0−∑j=1pwjxij)2RSS=J(w) = \sum\limits_{i=1}^{N}(y_i-w_0-\sum\limits_{j=1}^{p}w_jx_{ij})^2RSS=J(w)=i=1∑N​(yi​−w0​−j=1∑p​wj​xij​)2 岭回归的损失函数为: J(w)=∑i=1N(yi−w0−∑j=1pwjxij)2+λ∑j=1pwj2=R

柳杰的博客 3562

CUDA编程 - Nsight system & Nsight compute 的安装和使用 - 学习记录

在 cuda 编程中,经常会用到 Nsight system 和 Nsight compute 进行性能分析等,下面做个学习总结。本篇包括安装和常用分析思路总结,具体实践操作总结会放在下一篇博客。

点云算法工程师 1万+

【YOLO系列】YOLOv5超详细解读(源码详解+入门实践+改进)

一文带你详细了解YOLOv5(含YOLO系列论文讲解+源码详解+入门实践+算法改进)

路人贾的博客 26万+

LASSO回归和Ridge回归

在线性回归中讲述了原理,为了防止过拟合经常会加入正则化项。常用的正则化有L1正则化和L2正则化。 1.LASSO回归 加入L1正则化项的线性回归就叫LASSO回归。L1正则化项即是参数的L1范数,通俗点说,就是参数向量各个分量取绝对值的加和,即,对于\(\theta=(\theta_0, \theta_1, \cdots, \theta_n)^T\)参数向量,L1正则化项为: \[ \l...

weixin_30388677的博客 567

组合预测模型 | LSTM-XGBoost长短期记忆神经网络结合极限梯度提升树时间序列预测(Matlab程序)

组合预测模型 | LSTM-XGBoost长短期记忆神经网络结合极限梯度提升树时间序列预测(Matlab完整程序)

前程算法屋的博客 2182

【机器学习基础】第四十七课:[特征选择与稀疏学习]嵌入式选择与L1正则化

L1正则化,L2正则化,岭回归,LASSO,近端梯度下降(PGD),连续函数,一致连续(均匀连续),利普希茨连续(Lipschitz continuity),利普希茨常数

qq_34222839的博客 759

基于MATLAB的鲁棒主成分分析(Robust PCA)图像去噪

鲁棒主成分分析(Robust PCA)是一种有效的图像去噪方法,它能够在保持图像细节的同时去除噪声。本文将介绍如何使用MATLAB实现基于鲁棒PCA的图像去噪,并提供相应的源代码。它假设噪声是随机的、高斯分布的,并将图像分解为一个低秩矩阵和一个稀疏矩阵的和。低秩矩阵表示图像的结构和纹理信息,稀疏矩阵表示图像中的噪声和细节信息。接下来,我们将图像矩阵减去均值,得到规范化的图像矩阵。然后,我们将灰度图像转换为矩阵形式,并计算图像的均值。通过分离出低秩矩阵和稀疏矩阵,我们就得到了去噪后的图像和残差图像。

DevRevolt的博客 1125

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

【漫话机器学习系列】101.特征选择法之Lasso(Lasso For Feature Selection)

Lasso(Least Absolute Shrinkage and Selection Operator,最小绝对收缩和选择算子)是一种基于 L1 范数正则化的线性回归方法。它不仅能够提高模型的泛化能力,还可以自动进行特征选择,即将一些不重要的特征的系数收缩到 0,从而减少模型的复杂度。

IT古董 2431

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

上一篇: 【统计分析】皮尔逊相关系数检验
下一篇: 【特征选择方法】L2正则化(岭回归)
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值