机器学习-06 基于sklearn 广义线性模型- 弹性网络

最新推荐文章于 2025-09-17 10:57:56 发布
原创 最新推荐文章于 2025-09-17 10:57:56 发布 · 853 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #python

弹性网络是结合岭回归和Lasso回归优点的线性模型，适用于特征间高度相关的数据。它通过L1和L2范数进行正则化，既能处理稀疏矩阵又保持正则化效果。在sklearn中，可以使用ElasticNet类进行模型训练和预测。

机器学习-06 基于sklearn 广义线性模型- 弹性网络

弹性网络

我们前面学习了岭回归和Lasso回归，其中岭回归通过添加系数惩罚项，减小了系数之间的关联性，Lasso回归可以解决稀疏矩阵的情况。
弹性网络综合了岭回归和lasso回归的优势，可以拟合稀疏矩阵也保持了岭回归的正则性质。它使用使用 L1， L2 范数作为先验正则项训练的线性回归模型。 在面对特征之间相关性较高的情况时，弹性网络表现良好。Lasso 很可能只随机考虑这些特征中的一个，而弹性网络更倾向于选择两个。
最小化的目标函数是：
m i n   w 1 2 n s a m p l e s ∣ ∣ X w − y ∣ ∣ 2 2 + α ρ ∣ ∣ w ∣ ∣ 1 + α ( 1 − ρ ) 2 ∣ ∣ w ∣ ∣ 2 2 \underset{w}{min\,} { \frac{1}{2n_{samples}} ||X w - y||_2 ^ 2 + \alpha \rho ||w||_1 +\frac{\alpha(1-\rho)}{2} ||w||_2 ^ 2} wmin​2nsamples​1​∣

最低0.47元/天 解锁文章
机器学习--弹性网络（Elastic-Net Regression）
weixin_42727538的博客
04-19 7202
机器学习–Elastic-Net Regression 基本概念 弹性网络 是一种使用 L1， L2 范数作为先验正则项训练的线性回归模型。 这种组合允许拟合到一个只有少量参数是非零稀疏的模型，就像 Lasso 一样，但是它仍然保持了一些类似于 Ridge 的正则性质。 弹性网络在很多特征互相联系的情况下是非常有用的。Lasso 很可能只随机考虑这些特征中的一个，而弹性网络更倾向于选择两个。 最小化的目标函数是: min w12nsamples∣∣Xw−y∣∣22+αρ∣∣w∣∣1+α(1−ρ)2∣∣w∣∣
线性模型第4讲：弹性网络
wong2016的博客
03-31 4524
论文合作、课题指导请联系QQ2279055353 弹性网络(Elastic-Net)是一种线性模型，它在目标函数里同时使用l1, l2惩罚项。这样的组合既学习了一个稀疏的模型(类似Lasso), 同时也保持了岭回归的正则属性。其目标函数是 min⁡w12n∥Xw−y∥22+αρ∥w∥1+α(1−ρ)2∥w∥22\mathop{\min}\limits_w \dfrac{1}{2n}\|Xw-y...
深度探索：机器学习弹性网络（Elastic Net）算法原理及其应用
qq_51320133的博客
04-06 1万+
弹性网络作为一种融合了Lasso和Ridge优点的线性模型，对于高维数据的处理和特征选择具有显著优势。随着机器学习和统计学的发展，未来研究将进一步优化Elastic Net算法的参数选择策略，探寻更高效的优化算法，并尝试将其与深度学习、集成学习等技术结合，拓展其在多元复杂问题中的应用范围。同时，弹性网络在因果推断、稀疏编码等方面也有很大的潜力等待发掘。
机器学习基础-弹性网 Elastic Net-08
gemoumou的python学习实记
02-17 281
import numpy as np from numpy import genfromtxt from sklearn import linear_model # 读入数据 data = genfromtxt(r"longley.csv",delimiter=',') print(data) # 切分数据 x_data = data[1:,2:] y_data = data[1:,1] print(x_data) print(y_data) # 创建模型 model = linear_mo..
sklearn实现弹性网络回归(Elastic Net)
优快云 精品推荐
01-09 3981
在这篇文章中，我们将深入了解Elastic-Net回归——一个在统计学和机器学习领域中广泛应用的高效工具。Elastic-Net回归结合了岭回归和Lasso回归的特点，能够有效处理特征选择和正则化问题，尤其在面对包含多重共线性特征的复杂数据集时表现出色。
机器学习-04 基于sklearn 广义线性模型- Lasso回归
bubid的博客
08-23 883
机器学习-04 基于sklearn 广义线性模型- Lasso回归Lasso回归代码展示 Lasso回归 稀疏系数是指含零较多的系数。这种现象的产生可能是特征值设定的原因，比如性别男性为1女性为0，或者天气晴天为1阴天为0，这种非黑及白的选择如果有很多，可能会产生一溜零的情况。百度百科上面这段话写的特别好，特地摘抄在下面“该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为零。因此保留了子集收缩的优点，是一种处
12、机器学习中的回归模型：偏差-方差权衡、正则化与广义线性模型
yoga7的博客
09-17 34
本文系统介绍了机器学习中的回归模型，涵盖线性回归方法的特性、梯度下降优化技术、偏差-方差权衡理论及其对泛化误差的影响。深入探讨了岭回归、套索回归和弹性网络等正则化方法如何通过控制模型复杂度来提升鲁棒性和泛化能力，并解析了广义线性模型（如逻辑回归）在分类问题中的应用原理与局限性。结合二维Ising模型案例，展示了逻辑回归在实际问题中的表现及改进方向。最后，对比了多种回归模型的优缺点，提出了模型选择与优化的完整流程，并展望了未来在复杂模型、集成学习与自动化机器学习方面的发展趋势。
广义线性模型 - sklearn使用说明
壮壮不太胖的学习笔记
04-25 1565
文章目录1. 普通最小二乘法1.1，普通最小二乘法的复杂度2. 岭回归2.1. 岭回归的复杂度2.2. 设置正则化参数：广义交叉验证1.3. Lasso1.3.1. 设置正则化参数1.3.1.1. 使用交叉验证3. 贝叶斯回归3.1. 贝叶斯岭回归4. logistic 回归5. 随机梯度下降， SGD 1. 普通最小二乘法 LinearRegression拟合一个带有系数 ω = (ω1, …,...
弹性光网络
weixin_34416649的博客
09-26 674
一、光网络的发展： 传送网从准同步数字体系(Pseudo-synchronous DigitalHierarchy，PDH)发展到同步数字体系(Synchronous Digital Hierarchy，SDH)、波分复用(Wavelength Division Multiplex，WDM)，再到分组传送网(Packet Transport Network，PTN)、光传送网(Open Tran...
sklearn-1.1.5.弹性网
被遗弃的庸才博客
06-05 1590
1.1.5.弹性网弹性网是一个线性回归，使用L1和L2作为正则化参数进行训练。这种组合允许学习稀疏模型，其中很少的权重像套索那样非零，同时保持了岭的正则化属性。我们使用l1_ratio控制L1和L2组成凸函数。当有多个相互关联的特征时，弹性网络很有用。套索可能会随机选择其中的一种，而弹性网可能会选择这两种。一个实际的优势是弹性网在套索和岭回归之间进行权衡，它继承了岭回归的一些稳定性。在这种情况下，...
Lasso和弹性网正则化广义线性模型_Lasso and elastic-net regularized general
最新发布
09-22
Lasso和弹性网正则化广义线性模型_Lasso and elastic-net regularized generalized linear models.zip
4.弹性网络（ Elastic Net）
alex的博客
12-06 4454
ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型，比如:class:Lasso, 但是又能保持:class:Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。 当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个，而弹性网络更倾向于选择两个
机器学习与算法（11）--弹性网络(Elastic Net)
热门推荐
mensyne的博客
03-04 4万+
                                              弹性网络(Elastic Net) 弹性网络是一种使用 L1，L2范数作为先验正则项训练的线性回归模型.这种组合允许学习到一个只有少量参数是非零稀疏的模型，就像 Lasso一样，但是它仍然保持一些像Ridge的正则性质。我们可利用 l1_ratio 参数控制L1和L2的凸组合。弹性网络是一不断叠代的方法。...
弹性网络（Elastic Net）
qq_45441438的博客
06-18 1219
弹性网络在目标函数中加入 L1 和 L2 正则化项，同时考虑到了 Lasso 和 Ridge 回归的优点，具有更好的鲁棒性和稳健性。通过调节正则化参数 \(\alpha\) 和比例参数 \(\rho\)，可以得到不同程度的稀疏解或平滑解，从而适应不同的建模需求。其中，第一项是普通的最小二乘损失函数，第二项是 L1 正则化项（Lasso 正则化），第三项是 L2 正则化项（Ridge 正则化），\(\alpha\) 是正则化参数，\(\rho\) 控制 L1 和 L2 正则化的比例。
Python实现直方图梯度提升回归模型(HistGradientBoostingRegressor算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战
张陈亚的博客
11-05 4005
Python实现直方图梯度提升回归模型(HistGradientBoostingRegressor算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战
机器学习算法—弹性网络
m0_66813240的博客
03-29 3096
总体而言，模型表现尚可，尤其是在识别出真正的有效特征方面。但是，由于多重共线性和噪声的存在，模型也错误地将一些无关特征视为重要特征。
sklearn-1.1.6.多任务弹性网
被遗弃的庸才博客
06-05 587
1.1.6多任务弹性网多任务弹性网是一个弹性网模型，它可以联合多个回归问题的稀疏系数：Y是一个二维数组，形状是（n_samples,n_tasks）。约束条件是所选的特征对于所有的回归问题而言都是相同的，也可以称为任务。在数学上，它是由一个线性模型组成，这个线性模型使用和进行训练的。最小化的目标函数为：MultiTaskElasticNet类中使用坐标下降作为算法来拟合系数。MultiTaskEl...
深入浅出 python 机器学习:广义线性模型头歌
03-18
### Python 机器学习广义线性模型入门 #### 广义线性模型概述 广义线性模型（Generalized Linear Models, GLM）是一类用于解决回归和分类问题的统计方法。它通过定义目标变量与输入特征之间的线性关系来建模，并允许扩展到更复杂的场景，如正则化回归、逻辑回归等[^2]。 在Python中，`scikit-learn`库提供了丰富的工具支持广义线性模型的应用。该库实现了多种变体，包括但不限于普通最小二乘法（Ordinary Least Squares）、岭回归（Ridge Regression）、Lasso回归、弹性网络（Elastic Net），以及适用于分类任务的Logistic回归[^3]。 --- #### 普通最小二乘法 (OLS) 普通最小二乘法是最基础的线性回归形式，其核心思想是找到一条直线使得预测值与真实值之间的误差平方和达到最小。具体而言，给定一组训练样本 \((X, y)\)，模型的目标是最小化损失函数： \[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x_i) - y_i)^2 \] 其中 \(h_\theta(x_i)\) 表示模型对第\(i\)个样本的预测值，而\(y_i\) 是对应的真实标签[^4]。 以下是基于 `scikit-learn` 的 OLS 实现代码： ```python from sklearn.linear_model import LinearRegression import numpy as np # 构造简单数据集 X = np.array([[1], [2], [3]]) y = np.array([2, 4, 6]) # 创建并拟合模型 model = LinearRegression() model.fit(X, y) print(f"系数: {model.coef_}") print(f"截距: {model.intercept_}") ``` --- #### 岭回归 (Ridge Regression) 为了防止过拟合，可以引入 L2 正则项约束权重参数的大小。这种改进后的模型称为岭回归。它的优化目标变为： \[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x_i) - y_i)^2 + \alpha ||\theta||_2^2 \] 其中 \(\alpha\) 控制正则化的强度。 下面是实现 Ridge 回归的一个例子： ```python from sklearn.linear_model import Ridge # 使用相同的 X 和 y 数据 ridge_model = Ridge(alpha=0.5) ridge_model.fit(X, y) print(f"岭回归系数: {ridge_model.coef_}") print(f"岭回归截距: {ridge_model.intercept_}") ``` --- #### Lasso 回归 Lasso 回归通过加入 L1 正则项进一步增强稀疏性，从而自动筛选重要特征。其目标函数如下所示： \[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x_i) - y_i)^2 + \alpha ||\theta||_1 \] 由于 L1 范数的存在，部分不重要的特征会被赋予零权值。 以下是一个简单的 Lasso 回归实例： ```python from sklearn.linear_model import Lasso lasso_model = Lasso(alpha=0.1) lasso_model.fit(X, y) print(f"Lasso 系数: {lasso_model.coef_}") print(f"Lasso 截距: {lasso_model.intercept_}") ``` --- #### Logistic 回归 对于分类问题，广义线性模型可以通过链接函数将连续输出映射至概率空间。最常用的连接方式是对数几率函数（logit function）。此时，模型的形式为： \[ P(y=1|x; \theta) = g(h_\theta(x)) = \frac{1}{1 + e^{-h_\theta(x)}} \] 这里 \(g(z)\) 定义了 Sigmoid 函数。 下面展示了一个二元分类的例子： ```python from sklearn.linear_model import LogisticRegression # 修改 y 为目标类别 y_binary = np.array([0, 0, 1]) logistic_model = LogisticRegression(solver='liblinear') logistic_model.fit(X, y_binary) print(f"逻辑回归系数: {logistic_model.coef_}") print(f"逻辑回归截距: {logistic_model.intercept_}") ``` --- #### 总结 上述内容涵盖了广义线性模型的基础理论及其在 Python 中的具体应用。无论是处理数值型数据还是离散型数据，这些技术都具有广泛的适用性和高效的表现力[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值