Python 中 Ridge 和 Lasso 回归的教程

线性模型-Ridge-Lasso-回归 目录1 基本库导入2 线性回归2.1 线性模型性能2.2 使用更高维的数据集3 岭回归-Ridge3.1 Ridge原理及应用3.2 Ridge调参3.3 为什么要用Ridge4 Lasso4.1 基本原理及应用4.2 Lasso调参4.3 为什么要用Lasso4.4 Lasso和Ridge的区别(L1,L2区别)5 相关概念5.1 模型偏差-模型方差5.2 多重共线性相关5.2.1 概念5.2.... 阅读详情

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


线性回归和逻辑回归是回归技术中最受欢迎的技术,但是他们一般很难处理大规模数据问题,很难处理过拟合问题。所以,我们一般都会加上一些正则化技术,在本文中我们会介绍一些最基础的正则化技术,Ridge 回归和 Lasso 回归。这两种回归技术总体的思路是不变的。

1. 简要概述

Ridge 和 Lasso 回归是通常用于在存在大量特征的情况下创建简约模型的强大技术。这里的大数据指的是两方面:

  • 大到模型足以会有过度拟合的趋势;
  • 大到足以引起计算硬件挑战。对于现代系统,在数百万或者数十亿特征的情况下可能出现这种情况;

虽然 Ridge 和 Lasso 可能都朝着共同的目标努力,但固有属性和实际使用案例是非常不同的。如果你以前没有听过他们,那么你必须知道他们的作用就是惩罚系数的大小,同时最小化预测值与真实值之间的误差。这些都被称为正则化技术。他们之间的差别就在于如何对系数进行惩罚:

  • Ridge 回归:
    • 执行 L2 正则化,即增加相当于系数幅度的平方的惩罚
    • 最小化目标函数:LS Obj + a*(系数平方和)
  • Lasso 回归:
    • 执行 L1 正则化,即增加相当于系数幅度的绝对值的惩罚
    • 最小化目标函数:LS Obj + a*(系数绝对值之和)

注意:这里 LS Obj 指的是 最小二乘目标,即没有正则化的线性回归目标。

如果你对惩罚项和正则化这样的术语看起来很陌生,请不要担心我们会在本文的后续过程中更加详细的讨论这些内容。在升入研究他们如何工作之前,让我们试着弄清楚为什么惩罚系数的大小会起作用。

2. 为什么要惩罚系数的大小?

让我们试着理解模型复杂性对系数大小的影响。例如,我们模拟了正弦曲线(在 60° 和 300° 之间)并使用以下代码添加了一些随机噪声:

#Importing libraries. The same will be used throughout the article.
import numpy as np
import pandas as pd
import random
import matplotlib.pyplot as plt
%matplotlib inline
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 12, 10

#Define input array with angles from 60deg to 300deg converted to radians
x = np.array([i*np.pi/180 for i in range(60,300,4)])
np.random.seed(10)  #Setting seed for reproducability
y = np.sin(x) + np.random.normal(0,0.15,len(x))
data = pd.DataFrame(np.column_stack([x,y]),columns=['x','y'])
plt.plot(data['x'],data['y'],'.')

在这里插入图片描述

这类似于正弦曲线但不完全是因为噪声。我们将以此为例来测试本文中需要的不同场景。让我们尝试使用 x 为 1 到 15 的幂的多项式回归来估计正弦函数。让我们在数据帧中为每个幂增加一列 15。这可以使用以下代码完成:

for i in range(2,16):  #power of 1 is already there
    colname = 'x_%d'%i      #new var will be x_power
    data[colname] = data['x']**i
print(data.head())
          x         y       x_2       x_3       x_4       x_5       x_6  \
0  1.047198  1.065763  1.096623  1.148381  1.202581  1.259340  1.318778   
1  1.117011  1.006086  1.247713  1.393709  1.556788  1.738948  1.942424   
2  1.186824  0.695374  1.408551  1.671702  1.984016  2.354677  2.794587   
3  1.256637  0.949799  1.579137  1.984402  2.493673  3.133642  3.937850   
4  1.326450  1.063496  1.759470  2.333850  3.095735  4.106339  5.446854   

        x_7       x_8        x_9       x_10       x_11       x_12       x_13  \
0  1.381021  1.446202   1.514459   1.585938   1.660790   1.739176   1.821260   
1  2.169709  2.423588   2.707173   3.023942   3.377775   3.773011   4.214494   
2  3.316683  3.936319   4.671717   5.544505   6.580351   7.809718   9.268760   
3  4.948448  6.218404   7.814277   9.819710  12.339811  15.506664  19.486248   
4  7.224981  9.583578  12.712139  16.862020  22.366630  29.668222  39.353420   

        x_14       x_15  
0   1.907219   1.997235  
1   4.707635   5.258479  
2  11.000386  13.055521  
3  24.487142  30.771450  
4  52.200353  69.241170  

现在我们拥有了所有 15 个幂,让我们来制作 15 个不同的线性回归模型,每个模型包含 x 从 1 到特定型号的变量。例如,模型 8 的特征集是 {x, x_2, x_3, x_4, x_5, x_6, x_7, x_8} 。

首先,我们将定义一个通过 函数,它接受 x 所需的最大幂作为输入,并返回一个包含 [ model RSS, intercept, coef_x, coef_x2, … upto entered power ] 的列表。这里 RSS 指的是 残差平方和,它只是训练数据集中预测值和实际值之间的误差平方和。定义该函数的 Python 代码如下:

#Import Linear Regression model from scikit-learn.
from sklearn.linear_model import LinearRegression
def linear_regression(data, power, models_to_plot):
    #initialize predictors:
    predictors=['x']
    if power>=2:
        predictors.extend(['x_%d'%i for i in range(2,power+1)])
    
    #Fit the model
    linreg = LinearRegression(normalize=True)
    linreg.fit(data[predictors],data['y'])
    y_pred = linreg.predict(data[predictors])
    
    #Check if a plot is to be made for the entered power
    if power in models_to_plot:
        plt.subplot(models_to_plot[power])
        plt.tight_layout()
        plt.plot(data['x'],y_pred)
        plt.plot(data['x'],data['y'],'.')
        plt.title('Plot for power: %d'%power)
    
    #Return the result in pre-defined format
    rss = sum((y_pred-data['y'])**2)
    ret = [rss]
    ret.extend([linreg.intercept_])
    ret.extend(linreg.coef_)
    return ret

请注意,此函数不会绘制所有幂的模型,但会返回所有模型的 RSS 和系数。我现在将跳过代码的细节,直接展示结果。现在,我们可以制作所有 15 个模型并比较结果。为便于分析,我们将所有结果保存在 pandas 数据框中,并绘制 6 个模型以了解趋势。请参考一下代码:

#Initialize a dataframe to store the results:
col = ['rss','intercept'] + ['coef_x_%d'%i for i in range(1,16)]
ind = ['model_pow_%d'%i for i in range(1,16)]
coef_matrix_simple = pd.DataFrame(index=ind, columns=col)

#Define the powers for which a plot is required:
models_to_plot = {1:231,3:232,6:233,9:234,12:235,15:236}

#Iterate through all powers and assimilate results
for i in range(1,16):
    coef_matrix_simple.iloc[i-1,0:i+2] = linear_regression(data, power=i, models_to_plot=models_to_plot)

我们希望复杂度越来越高的模型能够更好的拟合数据并导致 RSS 值降低。这也可以通过查看 6 个模型生成的图来验证:

在这里插入图片描述

这清楚的符合我们最初的理解。随着模型复杂度的增加,模型倾向于在训练数据集中适应甚至更小的偏差。虽然这会导致过度拟合,但我们暂时搁置这个问题并达到我们的主要目标,即对系数大小的影响。这可以通过查看上面创建的数据框来分析。

#Set the display format to be scientific for ease of analysis
pd.options.display.float_format = '{:,.2g}'.format
coef_matrix_simple

在这里插入图片描述

很明显,随着模型复杂度的增加,系数的大小呈现指数增长。我希望这给出了一些直觉,为什么对系数的大小进行约束可能是降低模型复杂度的好主意。让我们试着更好的理解这一点。系数值很大表示什么?这意味着我们非常重视该特征,即特定特征是结果的良好预测因子。当他变得太大时,算法开始建模复杂关系以估计输出并且最终过度拟合到特定训练数据。

3. Ridge 回归

正如前面我们所了解的,Ridge 回归是采用了 L2 正则化,即它在优化目标中增加系数平方和的因子。因此,岭回归优化了以下内容:

Objective = RSS + α * (sum of square of coefficients)

这里,α\alphaα 是平衡最小化 RSS 与最小化系数平方和的强调量的参数。α\alphaα 可以采用不同的值:

  • α=0\alpha = 0α=0
    • 目标与简单线性回归相同。
    • 我们将获得与简单线性回归相同的系数。
  • α=∞\alpha = \inftyα=∞
    • 系数将为零。为什么?由于系数平方为无限权重,任何小于零的东西都会使目标无限。
  • 0&lt;α&lt;∞0 &lt; \alpha &lt; \infty0<α<∞
    • α\alphaα 的大小将决定给予目标的不同部分的权重。
    • 对于简单线性回归,系数将介于 0 和 1 之间。

我希望这能说明 α\alphaα 如何影响系数的大小。有一点可以肯定的是,任何非零值都会给出小于简单线性回归的值。

首先,我们为 Ridge 回归定义一个通用函数,类似于为简单线性回归定义一个函数,Python 代码如下:

from sklearn.linear_model import Ridge
def ridge_regression(data, predictors, alpha, models_to_plot={}):
    #Fit the model
    ridgereg = Ridge(alpha=alpha,normalize=True)
    ridgereg.fit(data[predictors],data['y'])
    y_pred = ridgereg.predict(data[predictors])
    
    #Check if a plot is to be made for the entered alpha
    if alpha in models_to_plot:
        plt.subplot(models_to_plot[alpha])
        plt.tight_layout()
        plt.plot(data['x'],y_pred)
        plt.plot(data['x'],data['y'],'.')
        plt.title('Plot for alpha: %.3g'%alpha)
    
    #Return the result in pre-defined format
    rss = sum((y_pred-data['y'])**2)
    ret = [rss]
    ret.extend([ridgereg.intercept_])
    ret.extend(ridgereg.coef_)
    return ret

注意,这里使用的是 Ridge 函数,它需要 alpha 作为初始化参数。另外,请记住,对输入进行标准化通常是每种类型回归的必修课,所以我们在 Ridge 回归中也使用了。

现在,让我们分析 10 个不同 α\alphaα 值对 Ridge 回归结果的影响,α\alphaα 的值我们取 1e-15 到 20之间的 10 个值。这样我们就可以很容易的分析 α\alphaα 值变化的趋势。然而,这些因具体场景而异。

请注意,这 10 个模型中的每一个都将包含所有 15 个变量,而且只有 α\alphaα 的值会有所不同。这与简单的线性回归情况不同,其中每个模型都具有特征的子集。

Python 代码如下:

#Initialize predictors to be set of 15 powers of x
predictors=['x']
predictors.extend(['x_%d'%i for i in range(2,16)])

#Set the different values of alpha to be tested
alpha_ridge = [1e-15, 1e-10, 1e-8, 1e-4, 1e-3,1e-2, 1, 5, 10, 20]

#Initialize the dataframe for storing coefficients.
col = ['rss','intercept'] + ['coef_x_%d'%i for i in range(1,16)]
ind = ['alpha_%.2g'%alpha_ridge[i] for i in range(0,10)]
coef_matrix_ridge = pd.DataFrame(index=ind, columns=col)

models_to_plot = {1e-15:231, 1e-10:232, 1e-4:233, 1e-3:234, 1e-2:235, 5:236}
for i in range(10):
    coef_matrix_ridge.iloc[i,] = ridge_regression(data, predictors, alpha_ridge[i], models_to_plot)

在这里插入图片描述

在这里我们可以清楚的看到,随着 alpha 值的增加,模型复杂度降低了。虽然较高的 alpha 值会过拟合,但是显著较高的值也会导致欠拟合(例如 alpha=5)。因此,如何明智的选择 alpha 的值是至关重要的。一般我们会利用交叉验证来进行 alpha 值的选择,即 alpha 的值在一系列值上面进行迭代,并且选择给出较高交叉验证分数的值。

让我们看一下上面模型中系数的值:

#Set the display format to be scientific for ease of analysis
pd.options.display.float_format = '{:,.2g}'.format
coef_matrix_ridge

在这里插入图片描述

这里直接给出一些结论:

  1. RSS 随着 alpha 的增加而增加,这种模型的复杂性降低了;
  2. 小到 1e-15 的 alpha 使我们的系数幅度显著减小。将此表第一行中的系数与简单线性回归表的最后一行进行比较。
  3. 高 alpha 值可能导致严重的不合适。请注意,对于大于 1 的alpha值,RSS会快速增加。
  4. 虽然系数非常小,但是它们不能等于零。

前面三个结论都是非常直观的,但是第四个也是至关重要的。让我们通过确定系数数据集的每一行中的零个数来重新确认,Python代码如下:

coef_matrix_ridge.apply(lambda x: sum(x.values==0),axis=1)
alpha_1e-15     0
alpha_1e-10     0
alpha_1e-08     0
alpha_0.0001    0
alpha_0.001     0
alpha_0.01      0
alpha_1         0
alpha_5         0
alpha_10        0
alpha_20        0
dtype: int64

这证实了所有 15 个系数的幅度都大于零(可以是 +ve 或者 -ve)。记住这个观察结果再看一遍上面的结论就会非常清晰了。这将在后面比较 Ridge 回归和 Lasso 回归发挥重要作用。

4. Lasso 回归

Lasso 代表最小绝对收缩和选择算子。我知道它并没有给出太多的想法,但这里有两个关键词 —— ‘绝对’和‘选择’。

让我们先考虑前者,然后再担心后者。

Lasso 回归使用的是 L1 正则化,即它在优化目标中添加系数绝对值之和的因子。因此,Lasso 回归优化的是如下内容:

Objective = RSS + alpha*(系数绝对值之和)

这里,alpha 的工作原理跟 Ridge 中差不多,提供的也是平衡 RSS 和系数之间的大小。像 Ridge 回归那样,alpha 可以取各种值。让我们简单的在这边分析一下:

  • alpha=0,与简单线性回归相同的系数
  • alpha=∞alpha = \inftyalpha=∞ ,所有系数为零(与之前逻辑一样)
  • 0&lt;alpha&lt;∞0&lt;alpha&lt;\infty0<alpha<∞ ,0与简单线性回归之间的系数

是的,到目前为止,它看起来跟 Ridge 非常相似。但是继续往下看,你就会发现这两者之间是有差异的。像以前一样,让我们对上面的问题设计一个 Lasso 回归。首先,我们来定义一个通用函数:

from sklearn.linear_model import Lasso
def lasso_regression(data, predictors, alpha, models_to_plot={}):
    #Fit the model
    lassoreg = Lasso(alpha=alpha,normalize=True, max_iter=1e5)
    lassoreg.fit(data[predictors],data['y'])
    y_pred = lassoreg.predict(data[predictors])
    
    #Check if a plot is to be made for the entered alpha
    if alpha in models_to_plot:
        plt.subplot(models_to_plot[alpha])
        plt.tight_layout()
        plt.plot(data['x'],y_pred)
        plt.plot(data['x'],data['y'],'.')
        plt.title('Plot for alpha: %.3g'%alpha)
    
    #Return the result in pre-defined format
    rss = sum((y_pred-data['y'])**2)
    ret = [rss]
    ret.extend([lassoreg.intercept_])
    ret.extend(lassoreg.coef_)
    return ret

注意 Lasso 函数中定义了的附加参数 -max_iter 。这是我们希望模型在不收敛的情况下运行的最大迭代次数。对于 Ridge 这个参数其实也是存在的,但是我们没有去修改。但是在这里我们对他进行修改了,将这个值设置为高于默认值了。为什么呢?下面的章节我会解释。

让我们使用 Python 代码来检查 10 个不同 alpha 值的输出:

#Initialize predictors to all 15 powers of x
predictors=['x']
predictors.extend(['x_%d'%i for i in range(2,16)])

#Define the alpha values to test
alpha_lasso = [1e-15, 1e-10, 1e-8, 1e-5,1e-4, 1e-3,1e-2, 1, 5, 10]

#Initialize the dataframe to store coefficients
col = ['rss','intercept'] + ['coef_x_%d'%i for i in range(1,16)]
ind = ['alpha_%.2g'%alpha_lasso[i] for i in range(0,10)]
coef_matrix_lasso = pd.DataFrame(index=ind, columns=col)

#Define the models to plot
models_to_plot = {1e-10:231, 1e-5:232,1e-4:233, 1e-3:234, 1e-2:235, 1:236}

#Iterate over the 10 alpha values:
for i in range(10):
    coef_matrix_lasso.iloc[i,] = lasso_regression(data, predictors, alpha_lasso[i], models_to_plot)

在这里插入图片描述

这个图再次告诉我们,模型复杂度随着 alpha 值的增加而降低。但请注意 alpha = 1 处的直线。让我们通过查看系数来进一步探索,Python 代码如下:

#Set the display format to be scientific for ease of analysis
pd.options.display.float_format = '{:,.2g}'.format
coef_matrix_lasso

在这里插入图片描述

除了对更高的 alpha 有更高的 RSS 的预期结论之外,我们还可以得到以下内容:

  • 对于相同的 alpha 值来说,Lasso 回归的系数要比 Ridge 回归的系数小很多;
  • 对于相同的 alpha 值来说,Lasso 回归比 Ridge 回归拥有更高的 RSS,说明拟合效果更差;
  • 即使对于非常小的 alpha 值,许多系数也为零

结论 1 和结论 2 可能不会一直成立,因为有时候数据会有点不同,但是在大多数情况下是成立的。与 Ridge 回归真正的区别在于最后一条。让我们使用以下代码来检查每个模型中零的系数数量:

coef_matrix_lasso.apply(lambda x: sum(x.values==0),axis=1)

在这里插入图片描述

我们可以观察到即使对于非常小的 alpha 值,大量的系数也是零。这也解释了 Lasso 回归中当 alpha=1 时发生的水平线拟合,它瞬间变成了一个基线模型!大多数系数为零的这种线性称为“稀疏性”。虽然 Lasso 执行特征选择,但这种稀疏程度仅在特殊情况下实现,我们将在最后讨论。

与 Ridge 回归相比,这对 Lasso 回归的用例有一些非常有趣的影响。但是在进行最后的比较之前,让我们先看看这背后的数学观点,为什么系数在 Lasso 回归的时候回变成零,但是在 Ridge 回归的时候不会变成零。

5. 统计学说明

我个人比较喜欢曲线后面的数学基础,或者说是统计学基础,如果你不喜欢可以跳过这一章,如果你感兴趣你可以看一下 The Elements of Statistical Learning 这本书。但我个人认为,从长远来看,了解事物运作最本质的原理总会有好处的。

废话不多说,接下来,我们首先回顾一下回归问题中数据的基本结构。

在这里插入图片描述

在上图中,你可以看到有四个数据元素:

  • X:输入特征矩阵(nrow:N,nclo:M+1)
  • Y:实际正确结果变量(维度:N)
  • Y^\hat YY^:Y 的预测值(维度:N)
  • w:权重或者系数(维度:M+1)

这里,N 是可用数据点的总数,M 是特征的总数。由于 M 特征和 1 个截距,所以 X 具有 M+1 列。

任何数据点 i 的预测结果是:

y^i=∑j=0Mwj∗xij\hat y_i = \sum_{j=0}^{M} w_{j} * x_{ij}y^​i​=∑j=0M​wj​∗xij​

它只是每个数据点的加权和,系数作为权重。通过基于某些标准找到权重的最佳值来实现该预测,这取决于所使用的回归算法的类型。让我们考虑所有 3 个案例:

1. 简单线性回归

要最小化的目标函数(也称为成本函数)仅是 RSS,即与实际结果相比的预测结果的平方误差之和。这可以在数学上描述为:

Cost(W)=RSS(W)=∑i=1N(yi−y^i)2=∑i=1N(yi−∑j=0Mwjxij)2Cost(W) = RSS(W)=\sum_{i=1}^{N}(y_i - \hat y_i)^2=\sum_{i=1}^{N}(y_{i} - \sum_{j=0}^{M}w_{j}x_{ij})^2Cost(W)=RSS(W)=∑i=1N​(yi​−y^​i​)2=∑i=1N​(yi​−∑j=0M​wj​xij​)2

为了最小化这种成本,我们通常使用 “梯度下降” 算法。我现在不会详细介绍细节,但你可以参考一下。整体算法的工作原理如下:

1. initialize weights (say w=0)
2. iterate till not converged
   2.1 iterate over all features (j=0,1...M)
       2.1.1 determine the gradient
       2.1.2 update the jth weight by subtracting learning rate times the gradient
             w(t+1) = w(t) - learning rate * gradient

这里最重要的一步是 2.1.1 ,我们如何计算梯度。梯度只是成本相对于特定权重的偏微分(表示为 WjW_jWj​),第 j 个权重的特度为:

在这里插入图片描述

步骤 #2.1.2 涉及使用渐变更新权重。简单线性回归的更新步骤如下所示:

在这里插入图片描述

我们可以使用渐变值进行检查。如果梯度足够小,则意味着我们非常接近最优,并且进一步的迭代将不会对系数产生实质性影响。可以使用 tol 参数更改渐变的下限。

让我们仙子阿考虑 Ridge 回归的情况。

2. Ridge 回归

要最小化的目标函数是 RSS 加上权重大小的平方和。这可以在数学上描述为:

在这里插入图片描述

在这种情况下,梯度计算公式为:

在这里插入图片描述

再次在梯度的正则化部分中,只有 wjw_jwj​ 保持不变而其他都将变为零。相应的更新规则为:

在这里插入图片描述

在这里我们可以看到权重更新的第二部分与简单线性回归的第二部分相同。因此,Ridge 回归相当于首先将权重减小 (1-2λη)因子,然后应用与简单线性回归相同的更新规则。我希望这能给出一些直觉感受,说明为什么系数会减小到很小但从不变成零。

注意,在这种情况下收敛的标准仍然类似于简单的线性回归,即检查梯度的值。接下来,让我们讨论一下 Lasso 回归。

3. Lasso 回归

要最小化的目标函数是 RSS 加上权重大小的绝对值之和,这可以在数学上描述为:

在这里插入图片描述

在这种情况下,因为绝对值函数在值等于 0 的情况下是不可微分的,所有我们修改公式为:

在这里插入图片描述

我们可以看到 0 的左侧和右侧的部分是具有定义的导数的直线,但是在 x=0 的时候无法区分该函数。在这种情况下,我们必须使用一种称为坐标下降的不同技术,该技术基于子梯度的概念。其中一个坐标下降遵循以下算法(这也是 sklearn 中的默认算法):

1. initialize weights (say w=0)
2. iterate till not converged
   2.1 iterate over all features (j=0,1...M)
       2.1.1 update the jth weight with a value which minimizes the cost

步骤 2.1.1 看起来非常笼统,但是你值得拥有。

在这里插入图片描述

这里 g(w−j)g(w_{-j})g(w−j​) 代表(但不完全)实际结果与预测结果之间的差异,除了第 j 个变量之外的所有结果。如果该值很小,则意味着即使没有第 j 个变量,算法也能够很好的预测结果,因此可以通过设置领系数从等式中去除它。这给了我们一些直觉,说明为什么在 Lasso 回归的情况下系数变为零。

在坐标下降中,检查收敛是另一个问题。由于未定义渐变,我们需要另一种方法。存在许多替代方案,但最简单的方法是检查算法的步长。我们可以检查所有特征权重(上述算法的 #2.1 )的任何特定周期中权重的最大差异。

如果这低于指定的 tol ,算法将停止。收敛速度不如梯度下降那么快,如果出现警告,表示算法在收敛前停止,我们可能必须设置 max_iter 参数。这就是我在 Lasso 泛型函数中指定此参数的原因。

让我们通过使用以下可视化比较所有三种情况中的系数来总结我们的理解,其显示了 Ridge 回归和 Lasso 回归与简单线性回归情况相比如何表现。

在这里插入图片描述

从上面的图中,我们可以发现:

  • Ridge 回归系数是简单线性回归系数的减小因子,因此从不获得零值但是非常小的值;
  • Lasso 回归系数在一定范围内变为零并且以恒定因子减小,这解释了与 Ridge 回归低的幅度;

在我们进一步学习之前,Lasso 回归和 Ridge 回归的另一个重要问题是截距问题。

现在,让我们来看看我们比较 Ridge 回归和 Lasso 回归在哪里使用。

6. 结论

现在我们对 Ridge 回归和 Lasso 回归的工作方式有了一个很好的了解,让我们试着通过比较他们来巩固我们的理解,并尝试欣赏它们的具体用例。我们还将他们与一些替代方法进行比较。我们从下面三个方面进行分析:

1. 关键差异
  • Ridge:它包括模型中的所有特征。因此,Ridge 回归的主要优点是系数收缩和降低模型复杂性。
  • Lasso:随着系数的缩小,Lasso 也会执行特征选择。正如我们之前观察到的那样,一些系数恰好为零,这相当于从模型中排出的特定特征。

传统上,逐步回归等技术用于执行特征选择并制作简约模型。但随着机器学习的进步,Ridge 回归和 Lasso 回归提供了非常好的选择,因为它们提供了更好的输出,需要更少的调整参数并且可以在很大程度上自动化。

2. 典型用例
  • Ridge:它主要用于防止过度拟合。由于它包含了所有功能,因此在数百万的超级特征量的情况下它并不是非常有用,因为它会带来计算挑战;
  • Lasso:由于它提供系数解决方案,它通常适用于建模数百万或者更多特征的模型。在这种情况下,获得系数解决方案具有很大的计算优势,因为可以简单的忽略具有零系数的特征。

不难看出为什么逐步选择技术在高纬情况下实现变得非常麻烦。因此,Lasso 提供了显著优势。

3. 存在高度相关的特征
  • Ridge:即使存在高度相关的特征,它通常也能很好的工作,因为它将包括模型中的所有特征,但系数将根据相关性分布在它们之间。
  • Lasso:它任意选择高度相关的任何一个特征,并将其余的系数减少到零。此外,所选变量随模型参数的变化而随机变化。与 Ridge 回归相比,这通常不能很好的起作用。

在我们上面的讨论中,可以观察到 Lasso 这个缺点。由于我们使用多项式回归,因此变量高度相关。如果不知道,可以查看 data.corr() 输出。因此,我们看到甚至小的 alpha 值都给出了显著的稀疏性,即 高 #coefficients 等于 0。

与 Ridge 回归和 Lasso 回归相似的,还有一个称为弹性网络回归,它将 L1 和 L2 正则都用起来了。

总结

在本文中,我概述了使用 Ridge 回归和 Lasso 回归的正则化。然后,我专注于惩罚系数大小的原因应该给我们简约的模型。接下俩,我们进入了 Ridge 回归和 Lasso 回归的细节,并看到了他们优于简单线性回归的优势。我们对他们为什么应该工作以及它们如何工作有一个直觉认识。

正则化技术非常有用,我鼓励你多用用。

机器学习——线性回归之Ridge回归和Lasso回归 线性回归是一种常见的机器学习算法,用于建模自变量和因变量之间的线性关系。在实际应用中,除了普通的线性回归外,还有两种常见的改进方法,即Ridge回归和Lasso回归。本文将简单介绍Ridge回归和Lasso回归的理论基础Python代码实现进行对比分析。 阅读详情

相关推荐

岭回归与LASSO回归:解析两大经典线性回归方法

这是一个用于回归问题的评估指标,用于度量模型的预测值与实际观测值之间的均方误差。均方误差越小,模型的性能越好。这里我进行一个代码的解释说明,我们定义了一个plot_model函数,这个函数的参数是一个已经训练好的模型,之后打印一个均方误差,用于为了测试预测性能;L1正则化和L2正则化都是用于线性回归等机器学习模型中的正则化技术,它们的作用是防止模型过拟合,提高模型的泛化能力。适用情况:L2正则化通常用于处理多重共线性问题或者在模型需要保留大部分特征的情况下,但希望限制回归系数的大小以提高模型的泛化能力。

null18的博客 1万+

利用python实现Ridge岭回归和Lasso回归

正则化 regularization 在介绍Ridge和Lasso回归之前,我们先了解一下正则化 过拟合和欠拟合 (1) under fit:还没有拟合到位,训练集和测试集的准确率都还没有到达最高。学的还不 到位。 (2) over fit:拟合过度,训练集的准确率升高的同时,测试集的准确率反而降低。学的过 度了,做过的卷子都能再次答对,考试碰到新的没见过的题就考不好。 (3) just right:过拟合前训练集和测试集准确率都达到最高时刻。学习并不需要花费很多 时间,理解的很好,考试的时候可

m0_64336780的博客 1万+

岭回归(Ridge)和Lasso 回归(笔记)

最近在自学图灵教材《Python机器学习基础教程》,在csdn以博客的形式做些笔记。 对于回归问题,线性模型预测的一般公式如下: ŷ = w[0] * x[0] + w[1] * x[1] + … + w[p] * x[p] + b 这里 x[0] 到 x[p] 表示单个数据点的特征(本例中特征个数为 p+1),w 和 b 是学习模型的 参数,ŷ 是模型的预测结果。 岭回归 岭回归也是一种用于回归的线性模型,因此它的预测公式与普通最小二乘法相同。但在岭 回归中,对系数(w)的选择不仅要在.

qq_51228515的博客 1万+

手写算法-python代码实现Ridge(L2正则项)回归

手写算法-python代码实现Ridge回归Ridge简介Ridge回归分析与python代码实现1、标准方程法实现Ridge回归2、梯度下降法实现Ridge回归调用sklearn对比 Ridge简介 前面2篇文章,我们介绍了过拟合与正则化,比较全面的讲了L1、L2正则化的原理与特点; 链接: 原理解析-过拟合与正则化 以及python代码实现Lasso回归; 链接: 手写算法-python代码实现Lasso回归 今天,我们在这基础上,讲一讲Ridge回归,就比较简单了, 本文主要实现python代码的Ri

weixin_44700798的博客 8995

岭回归和LASSO回归模型(简记Logistic回归分类模型)

岭回归和LASSO回归模型 目录一、岭回归模型1 λ 值的确定1.1 可视化方法确定 **λ** 值1.2 交叉验证法确定λ值2 模型预测 线性回归模型的参数估计得到的前提是变量构成的矩阵可逆。在实际问题中,常出现的问题: 可能会出现自变量个数多于样本 自变量间存在多重共线性的情况 为解决这类问题,可基于线性回归模型扩展的回归模型:岭回归和LASSO回归模型进行处理。 一、岭回归模型 在线性回...

积跬步,慕至千里的博客 1万+

机器学习 | Python线性回归+Ridge正则化

机器学习 | Python线性回归+Ridge正则化

天天酷科研的博客 289

【练习/sklearn库基础】使用LinearRegssion、Lasso、Ridge进行回归预测,并计算各模型的评估结果,用条形图显示。

声明: 1、 学生刚开始学习python,代码会有很多不严谨,也较为粗糙,单纯用于广大网友参考,希望能起到一定的帮助 2、 如果要转载,请标记出来源 3、本文纯粹用于技术练习,请勿用作非法途径 4、如果有问题请在评论区指出,虚心接受立马改正 做题途中所遇问题: 1.在条形图上方标注各个评分值,忘了,搞了老半天搞出来 代码块: #1、 导入sklearn库自带的乳腺癌数据集(。load_breast_cancer),使用LinearRegssion、Lasso、Ridge进行回归预测,并计算各模型的评估结果,

NeHAO_WU的博客 1022

Ridge回归与Lasso回归对比

Ridge回归与Lasso回归对比 作者:禅与计算机程序设计艺术 1. 背景介绍 在机器学习和统计分析中,线性回归是一种广泛应用的预测建模技术。当我们面临具有多个特征变量的回归问题时,常见的两种正则化线性回归方法是Ridge回归和Lasso回归。这两种方法都能有效应对过拟合

AI天才研究院 1448

回归分析终极教程:Machine-Learning-with-Python中的7种线性回归方法对比

Machine-Learning-with-Python是一个包含丰富实践和教程风格笔记本的项目,涵盖了多种机器学习技术,其中回归分析作为预测连续变量的核心方法,在该项目中得到了全面的展示。本文将深入对比项目中7种线性回归方法的特点、适用场景及实现方式,帮助新手快速掌握回归分析的核心技能。 ## 一、线性回归基础:从简单到多元 线性回归是机器学习中最基础也最常用的算法之一,它通过建立自变量与因

gitblog_00084的博客 735

【机器学习|回归算法】线性回归、逻辑回归、Lasso 回归、Ridge 回归详解,附代码。

【机器学习|回归算法】线性回归、逻辑回归、Lasso 回归、Ridge 回归详解,附代码。

2401_89898861的博客 1321

告别Nginx原始日志!VictoriaLogs+Grafana构建企业级应用日志分析平台实战

描述:做为一个合格的运维工程师,在面对企业安全运维管理中,日志审计是一项非常重要的工作。授人以鱼不如授人以渔,各位运友们可参照作者的方案设计,在自己的项目中根据实际情况调整落地,例如,不在仅仅采集 NGINX 应用日志,而是采集 Apache、Tomcat、SpringBoot 等多种应用服务器的日志,又如,不再仅仅采集网络设备、安全审计审计日志,而是 Windows、Linux 等多种操作系统的审计日志等,大家可充分发挥想象、实践能力,也欢迎大家在知识星球中分享自己的方案设计,一起交流学习。

全栈工程师修炼指南-IT知识分享 2482

神经网络 python sklearn_Python-sklearn常用算法分类以及调用列表

总的来说,Sklearn可实现的函数或功能可分为以下几个方面:分类算法回归算法聚类算法降维算法文本挖掘算法模型优化数据预处理最后再说明一下可能不支持的算法(也可能是我没找到,但有其他模块可以实现)分类算法线性判别分析(LDA)>>> from sklearn.discriminant_analysis import LinearDiscriminantAnalysis >&...

weixin_39758953的博客 1105

数学建模国赛C题实战:从数据预处理到模型优化的完整流程(附Python代码)

本文系统讲解了数学建模国赛C题的完整实战流程,涵盖从数据预处理、模型选择与构建到优化与结果可视化的关键步骤。文章重点分享了如何利用Python进行高效的数据清洗、特征工程,并提供了多种机器学习模型的实现代码与对比验证方法,旨在帮助参赛者构建逻辑清晰、结果可靠的解决方案。

weixin_29079643的博客 295

Ridge和Lasso回归:Python Scikit-Learn的完整指南

Python Scikit-Learn中 Ridge和Lasso回归详解!

AI黑板报的专栏 1万+

Matlab/simulink频率响应分析方法

Matlab/Simulink仿真系列问题一.电气模块与信号模块 一.电气模块与信号模块

virtuoso~晓晓 3万+

SAP FIORI静态磁贴从零到一:配置实战与权限打通

本文详细介绍了SAP FIORI静态磁贴的配置流程与权限管理,从准备工作到后台配置、目标映射、前台组织及权限分配,提供了实战技巧与常见问题解决方案。重点解析了静态磁贴的创建、目标映射配置及权限打通等关键步骤,帮助用户快速掌握FIORI静态磁贴的配置方法。

weixin_29266647的博客 252

LASSO回归与Ridge回归方法及Python实现总结

LASSO回归与Ridge回归 在线性回归算法中一般使用普通最小二乘法Ordinary Least Squares进行参数估计,这种方法进行参数估计时依赖于特征的独立性。如果样本的特征相关并且设计矩阵各列近似线性相关时,设计矩阵近似奇异,使用普通的最小二乘法估计模型参数会对观测目标的随机误差高度敏感,参数估计的方差过大,求解出来的模型很不稳定。在具体取值与真实值之间有较大偏差时,有...

SSyangguang的博客 5749

从ST转国产ARM必看:GD32/APM32等5款芯片的SWD下载全攻略(含CH32特殊处理)

本文为从STM32转向国产ARM芯片的开发者提供了详细的SWD下载调试指南。针对GD32F103C8T6、APM32F103C8T6等五款热门国产芯片,详细说明了如何利用已有的ST-Link工具和Keil MDK环境进行程序烧录,并特别介绍了CH32F103芯片所需的独立器件库安装等特殊处理方法,帮助开发者实现平滑迁移,提升开发效率。

weixin_29195615的博客 279

Lasso回归(概念+实例)

Lasso回归(Least Absolute Shrinkage and Selection Operator,最小绝对收缩和选择算子回归),是一种在统计学中广泛使用的回归分析方法。其核心在于通过对系数进行压缩,以达到变量选择和复杂度调整的目的,从而提高模型的预测精度和解释能力。Lasso回归在处理具有多重共线性数据或者高维数据时尤其有效。

weixin_47151388的博客 4万+

FineReport SQL查询分页

打开模板>模板web属性>分页预览设置,选择为该模板单独设置,将默认的工具栏按钮全部清除掉,然后依次添加两个自定义按钮,一个邮件按钮,两个自定义按钮,一个Word格式,一个PDF按钮。如下所示:注:使用具体格式按钮,如邮件、Word格式、PDF按钮是为了JS直接使用控件名称获取空间方便修改其内容;

lep的博客 2431

PHP实现SM2算法(附完整源码)

PHP实现SM2算法(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 4027

机器学习之Ridge回归与Lasso回归

Ridge回归和Lasso回归是机器学习中常用的线性回归算法的变种。Ridge回归是一种线性回归算法,通过在损失函数中添加一个正则化项,以控制模型的复杂度。正则化项是模型参数的平方和与一个参数alpha的乘积,alpha越大,惩罚项越大,模型的复杂度越低。Ridge回归可以降低模型对数据中噪声的敏感性,从而提高模型的泛化能力。Lasso回归也是一种线性回归算法,与Ridge回归类似,但正则化项是模型参数的绝对值和与一个参数alpha的乘积。

weixin_71158509的博客 2329

n8n AI高效工作流自动化 部署使用教程

摘要: n8n是一款开源可视化工作流自动化工具,结合AI能力可高效解决重复性任务。文章详细介绍了从Docker部署到实战应用的完整流程:1)通过Docker Compose自托管n8n,确保数据可控;2)以AI客服日报机器人为例,演示如何串联工单系统、ChatGPT和邮件通知,实现定时自动化;3)进阶搭建交互式AI助手,利用ToolsAgent节点调用业务API;4)整合向量数据库构建RAG知识库问答。关键建议包括:拆分复杂工作流、严格管理凭据、区分开发与生产环境,并建议从高频刚性需求(如日报生成)切入,逐

专注AI大模型,软件混淆,授权 268

初探 岭回归 LASSO回归 (python 实现)

作为一名曾经研究过人工神经网络的菜鸟,前两天刚听说有岭回归估计和LASSO估计,统计学老师也布置了作业,然,在不甚理解的情况下,用Python写了一下,也不知是否正确。不合适的地方请不吝赐教。 作业如下: x,y已知,分别用岭估计和LASSO估计,估计的值,并使用MSE评估估计结果。 个人理解: 在完全没有数据的情况下,很显然,需要随机生成一些数据。在年少的时候就知道,若已知和值,给定一个x就会有个y生成。 所以 第一步:肯定是要生成一批y,将作为真实值,用来与接下来估计出的值进行比较。

一厘米专栏 8093

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【sklearn】线性回归、最小二乘法、岭回归、Lasso回归

scikit-learn(sklearn)是基于Python的机器学习库,建立在NumPy、SciPy等科学计算库之上,提供简洁的API接口,适合机器学习初学者。sklearn包含六大任务模块(分类、回归、聚类、降维、模型选择、预处理)和数据集模块(datasets)。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 9043

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

python 回归_岭回归与LASSO回归 Ridge 和 Lasso Regression(python)

概述Ridge 和 Lasso回归是正则化技术的两种类型正则化技术用于处理过度拟合和数据集过大的情况Ridge 和 Lasso回归涉及增加罚款的回归函数炫云:你应该知道7个回归技巧!炫云:线性回归算法的评估指标炫云:Regression炫云:逻辑回归炫云:logistic Regression炫云:逻辑斯蒂回归模型炫云:Ridge 和 Lasso Regression(python)介绍当我们讨论...

weixin_39622225的博客 1482

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 七种你应该知道的回归方法
下一篇: 什么时候业务分析师需要使用线性回归
coderpai
博客等级 码龄10年 1082粉丝 469原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值