回归分析（一）——简单了解

最新推荐文章于 2025-05-21 20:07:32 发布
原创 最新推荐文章于 2025-05-21 20:07:32 发布 · 2.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了回归分析的基础知识，包括简单回归模型和多变量回归模型。通过探索性数据分析（EDA），使用Python的seaborn库进行数据可视化，探讨了特征与目标变量之间的关系。以housing数据集为例，展示了如何利用最小二乘法和梯度下降法实现线性回归模型，特别是分析了LSTAT和RM变量与房价（MEDV）的相关性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《python machine learning》chapter 10 Predicting Continuous Target Variables with Regression Analysis

【主要内容】

（1）探索和可视化数据集

（2）用不同方法实现线性回归分析

（3）训练适用于离群值的回归模型

（4）评估回归模型，解决通用问题

（5）调整适用于非线性数据的回归模型

git源码：https://github.com/xuman-Amy/Regression-Analysis

【简单回归模型（单一变量）】

对于单一变量 x (解释变量) 与连续值（目标变量y）之间的关系建模。

为y轴截距，为解释变量的权值系数。

目标：找到best-fitting line。如下所示

【多变量回归模型】

 

【housing dataset】

数据说明：

加载数据：

#import data
import pandas as pd
d
最低0.47元/天 解锁文章

200万优质内容无限畅学
回归模型的自我理解
m0_37657725的博客
06-28 2791
目录 最小二乘法 背景故事 原理及推导过程 一元线性回归模型 多元线性回归模型 逐步回归 多重共线性 多重共线性和最小二乘法 岭回归（RR） LASSO回归 最小角回归 广义线性回归模型 逻辑回归模型 回归：数据有“回归到平均数的趋势” 回归分析研究因变量和自变量的关系（完全确定关系，有一定关系但无法确定，这是我们研究的主题） 最小二乘法 最小二乘法（又称最小平...
回归分析——简单线性回归实例讲解（SPSS）
热门推荐
qq_39783601的博客
09-06 8万+
什么是回归分析？ 回归分析是研究自变量与因变量之间数量变化关系的一种分析方法，它主要是通过因变量Y与影响它的自变量Xi（i1,2,3…）之间的回归模型，衡量自变量Xi对因变量Y的影响能力的，进而可以用来预测因变量Y的发展趋势。 ????????????相关分析与回归分析的联系与区别： 联系： 两者均为研究与测度两个或两个以上变量之间关系的方法。 在实际工作中，一般先进行相关分析，计算相关函数，然后建立回归模型，最后用回归模型进行推算或预测。 区别： ✨相关分析研究的都是随机变量，并且不分自变量与因变量；
简单的回归分析
小白菜的博客
05-09 586
最近在看慕课上北大开的数据结构和算法Python版，老师讲的深入浅出，我会不断输出课上的心得体会，与大家共同讨论，共同进步。 Python算法之回归分析 回归分析是一种用于数据分类的回归模型。这个模型非常简单，事实上，它是一个线性分类器。 无论如何，当你想要去探索你的数据的时候，这是一个很好的出发点。 很容易编程，完全可以速成。且模型是解释性的模型，也就是说模型将告诉你每个特性对因变量的影响。 绿色和蓝色-正确的分类 红色-错误分类 首先，输入的数据可以通过多项式特征手动扩
回归分析（线性/非线性）
最新发布
不断积累不断学习
05-21 1869
回归分析是统计学中一种强大的工具，用于探究变量之间的关系，并基于此建立预测模型。
关于线性回归分析的理解
不胜人生一场醉
08-17 587
线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。线性...
统计简单学_回归分析
YoungGy的专栏
08-24 2264
回归分析
ibmm，让思维导图回归本质
我的java
12-27 249
赖勇浩（http://laiyonghao.com）缘起 你想用思维导图来分析问题，然后，你就有两个问题了。——无名氏 许多朋友都听说过思维导图（又称脑图），它是用来理清思路的好办法。同时我也相信许多朋友在使用思维导图的过程中遇到了许多问题，比如： 搜索了一下，发现思维导图的编辑器都好几十 MB； 下载安装发现这些 java 写的程序启动巨慢，还占内存； 编辑了三五十个节点发现自己不停地要调整位置...
Python量化交易学习——Part10：量化交易中常用的回归分析方法——线性回归
柴犬的博客
06-23 1488
在前面我们介绍了多因子策略，就是根据各个因子的大小对股票进行打分，然后按照一定的权重加权得到一个总分，最后根据总分再对股票进行筛选。这种方法的优点是相对比较稳健，不容易受到极端值的影响。但是多因子策略需要对各个因子的权重做一个主观的判定，这也是多因子策略在实际模型评价过程中比较困难和需要模型求取的关键所在。本节将介绍一种在量化分析中常用的方法——回归分析，它可以用在股价的回归分析上，同时还可以对基本面数据进行分析。
python线性回归实验——【机器学习与算法分析】.docx
12-16
线性回归是一种基本且强大的统计学习技术，被广泛应用于数据分析领域，用于预测一个连续型变量（目标变量）与其他一个或多个自变量之间的关系。 #### 二、线性回归基础概念 **定义：** 线性回归是一种监督学习方法...
数学建模——回归分析.doc
10-01
数学建模——回归分析 在数学建模中，回归分析是一种常用的统计方法，用于研究两个或多个变量之间的关系。在本文中，我们将介绍回归分析的基本概念、步骤和应用。 回归分析的基本概念： 回归分析是指研究变量之间...
mysql 回归分析_Mysql多变量线性回归
weixin_33946659的博客
02-03 561
最好将这些数据存储在MySQL中，但您可以从有权访问数据库的语言处理数据。伪代码：variables = [ 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I' ];for X in $variables dofor Y in $variables doquery = 'SELECT@'+$X+$Y+' := COUNT(score) AS '+$X+$Y+',...
7个回归分析方法思维导图.png
05-22
7个回归分析方法 什么是回归分析？ 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。 这种技术通常用于 预测分析、 时间序列模型 以及发现变量之间的因果关系。 例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。 回归分析是建模和分析数据的重要工具。 在这里，我们使用曲线/线来拟合这些数据点， 在这种方式下，从曲线或线到数据点的距离差异最小。 我会在接下来的部分详细解释这一点。 我们为什么使用回归分析？ 如上所述，回归分析估计了两个或多个变量之间的关系。 下面，让我们举一个简单的例子来理解它： 比如说，在当前的经济条件下，你要估计一家公司的销售额增长情况。 现在，你有公司最新的数据，这些数据显示出销售额增长大约是经济增长的2.5倍。 那么使用回归分析，我们就可以根据当前和过去的信息来预测未来公司的销售情况。 使用回归分析的好处良多。 具体如下： • 它表明自变量和因变量之间的显著关系 它表明多个自变量对一个因变量的影响强度 回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。 这些有利于帮助市场研究人员，数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。 我们有多少种回归技术？ 有各种各样的回归技术用于预测。 这些技术主要有三个度量 （自变量的个数， 因变量的类型 回归线的形状）。 对于那些有创意的人，如果你觉得有必要使用上面这些参数的一个组合，你甚至可以创造出一个没有被使用过的回归模型。 但在你开始之前，先了解如下最常用的回归方法： 1. 线性回归（Linear Regression） 线性回归通常是人们在学习预测模型时首选的技术之一。 在这种技术中， 因变量是连续的， 自变量可以是连续的也可以是离散的， 回归线的性质是线性的。 线性回归使用最佳的拟合直线（也就是回归线） 在因变量（Y）和一个或多个自变量（X）之间建立一种关系。 用一个方程式来表示它，即 Y=a+b*X + e， 其中a表示截距， b表示直线的斜率， e是误差项。 这个方程可以根据给定的预测变量（s）来预测目标变量的值。 现在的问题是：我们如何得到一个最佳的拟合线呢？ 这个问题可以使用最小二乘法轻松地完成。 一元线性回归和多元线性回归的区别在于， 多元线性回归有（>1）个自变量， 而一元线性回归通常只有1个自变量。 最小二乘法也是用于拟合回归线最常用的方法。 对于观测数据，它通过最小化每个数据点到线的垂直偏差平方和来计算最佳拟合线。 因为在相加时，偏差先平方，所以正值和负值没有抵消。 我们可以使用R-square指标来评估模型性能。 要点： • 自变量与因变量之间必须有线性关系 • 多元回归存在多重共线性，自相关性和异方差性 线性回归对异常值非常敏感。它会严重影响回归线，最终影响预测值 多重共线性会增加系数估计值的方差，使得在模型轻微变化下，估计非常敏感。 结果就是系数估计值不稳定， 在多个自变量的情况下，我们可以使用向前选择法，向后剔除法和逐步筛选法来选择最重要的自变量。 2. 逻辑回归（Logistic Regression） 逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。 当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。 这里，Y的值从0到1，它可以用下方程表示。 odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence ln(odds) = ln(p/(1-p)) logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3....+bkXk 概要 上述式子中，p表述具有某个特征的概率。 你应该会问这样一个问题：我们为什么要在公式中使用对数log呢？ 因为在这里我们使用的是的二项分布（因变量），我们需要选择一个对于这个分布最佳的连结函数。 它就是Logit函数。 在上述方程中，通过观测样本的极大似然估计值来选择参数， 而不是最小化平方和误差（如在普通回归使用的）。 要点： • 它广泛的用于分类问题。 逻辑回归不要求自变量和因变量是线性关系。 它可以处理各种类型的关系，因为它对预测的相对风险指数OR使用了一个非线性的log转换。 逻辑回归是用于分类的~这个得记住 为了避免过拟合和欠拟合，我们应该包括所有重要的变量。 有一个很好的方法来确保这种情况， 就是使用逐步筛选方法来估计逻辑回归。 它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。 自变量不应该相互关联的，即不具有多重共线性。 然而，在分析和建模中，我们可以选择包含分类变量相互作用的影响。 • 如果因变量的值是定序变量，则称它为序逻辑回归 • 如果因变量是多类的话，则称它为多元逻辑回归 3. 多项式回归（Polynomial Regression） 对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。 如下方程所示：y=a+b*x^2 在这种回归技术中，最佳拟合线不是直线。 而是一个用于拟合数据点的曲线。 重点： 虽然会有一个诱导可以拟合一个高次多项式并得到较低的错误，但这可能会导致过拟合。 你需要经常画出关系图来查看拟合情况，并且专注于保证拟合合理，既没有过拟合又没有欠拟合。 下面是一个图例，可以帮助理解： 明显地向两端寻找曲线点，看看这些形状和趋势是否有意义。 更高次的多项式最后可能产生怪异的推断结果。 4. 逐步回归（Stepwise Regression） 在处理多个自变量时，我们可以使用这种形式的回归。 在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。 这一壮举是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重要的变量。 逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型。 下面列出了一些最常用的逐步回归方法： • 标准逐步回归法做两件事情。即增加和删除每个步骤所需的预测。 • 向前选择法从模型中最显著的预测开始，然后为每一步添加变量。 • 向后剔除法与模型的所有预测同时开始，然后在每一步消除最小显着性的变量。 这种建模技术的目的是使用最少的预测变量数来最大化预测能力。 这也是处理高维数据集的方法之一。 5. 岭回归（Ridge Regression） 岭回归分析是一种用于存在多重共线性（自变量高度相关）数据的技术。 在多重共线性情况下，尽管最小二乘法（OLS）对每个变量很公平，但它们的差异很大，使得观测值偏移并远离真实值。 岭回归通过给回归估计上增加一个偏差度，来降低标准误差。 上面，我们看到了线性回归方程。还记得吗？ 它可以表示为：y=a+ b*x 这个方程也有一个误差项。完整的方程是： y=a+b*x+e (error term) , [error term is the value needed to correct for a prediction error between the observed and predicted value] => y=a+y= a+ b1x1+ b2x2+....+e, for multiple independent variables. 在一个线性方程中，预测误差可以分解为2个子分量。 一个是偏差， 一个是方差。 预测错误可能会由这两个分量或者这两个中的任何一个造成。 在这里，我们将讨论由方差所造成的有关误差。 岭回归通过收缩参数λ（lambda）解决多重共线性问题。 看下面的公式： 在这个公式中，有两个组成部分。 第一个是最小二乘项， 另一个是β2（β-平方）的λ倍，其中β是相关系数。 为了收缩参数把它添加到最小二乘项中以得到一个非常低的方差。 要点： 除常数项以外，这种回归的假设与最小二乘回归类似； 它收缩了相关系数的值，但没有达到零，这表明它没有特征选择功能，这是一个正则化方法，并且使用的是L2正则化。 6. 套索回归（Lasso Regression） 它类似于岭回归。 Lasso （Least Absolute Shrinkage and Selection Operator）也会惩罚回归系数的绝对值大小。 此外，它能够减少变化程度并提高线性回归模型的精度。 看看下面的公式： Lasso 回归与Ridge回归有一点不同，它使用的惩罚函数是绝对值，而不是平方。 这导致惩罚（或等于约束估计的绝对值之和）值使一些参数估计结果等于零。 使用惩罚值越大，进一步估计会使得缩小值趋近于零。 这将导致我们要从给定的n个变量中选择变量。 要点： • 除常数项以外，这种回归的假设与最小二乘回归类似 • 它收缩系数接近零（等于零），确实有助于特征选择 这是一个正则化方法，使用的是L1正则化 7. 回归（ElasticNet） ElasticNet是Lasso和Ridge回归技术的混合体。 它使用L1来训练并且L2优先作为正则化矩阵。 当有多个相关的特征时，ElasticNet是很有用的。 Lasso 会随机挑选他们其中的一个，而ElasticNet则会选择两个。 Lasso和Ridge之间的实际的优点是，它允许ElasticNet继承循环状态下Ridge的一些稳定性。 要点： 它可以承受双重收缩 • 选择变量的数目没有限制 • 在高度相关变量的情况下，它会产生群体效应 除了这7个最常用的回归技术，你也可以看看其他模型，如Bayesian、Ecological和Robust回归。 如何正确选择回归模型？ 当你只知道一个或两个技术时，生活往往很简单。 我的老师曾告诉我，如果结果是连续的，就使用线性回归。 如果是二元的，就使用逻辑回归！ 然而，在我们的处理中，可选择的越多，选择正确的一个就越难。 类似的情况下也发生在回归模型中。 在多类回归模型中，基于自变量和因变量的类型，数据的维数以及数据的其它基本特征的情况下，选择最合适的技术非常重要。 以下是你要选择正确的回归模型的关键因素： 1. 数据探索是构建预测模型的必然组成部分 在选择合适的模型时，比如识别变量的关系和影响时，它应该首选的一步。 2. 比较适合于不同模型的优点，我们可以分析不同的指标参数 如统计意义的参数，R-square，Adjusted R-square，AIC，BIC以及误差项，另一个是Mallows' Cp准则。 这个主要是通过将模型与所有可能的子模型进行对比（或谨慎选择他们），检查在你的模型中可能出现的偏差。 3. 交叉验证是评估预测模型最好额方法 在这里，将你的数据集分成两份（一份做训练和一份做验证）。 使用观测值和预测值之间的一个简单均方差来衡量你的预
爆炸性数据分析-EDA基本和逻辑回归模型：爆炸性数据分析（EDA）基础和逻辑回归模型
02-15
爆炸性数据分析-EDA基本和逻辑回归模型：爆炸性数据分析（EDA）基础和逻辑回归模型
统计学高清思维导图-回归分析
06-22
统计学高清思维导图-回归分析
优快云回归分析资源.zip
10-06
2-1数据是火灾例题的数据、2-7是另外一题的数据、附上两份R语言代码。具体使用与解释在我写的另外一篇博客上面
elo-eda-and-models回归模型解读（待完成）
hxshine的博客
07-18 548
1.题目 忠诚度预估，回归模型 2.解读 2.1 目标分布有点奇怪
回归分析
普罗米修斯的博客
08-28 1392
文章目录【 1. 回归分析简介 】【 2. SPSS求解 】 【 1. 回归分析简介 】 回归分析定义： 回归分析是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。 回归分析思想： 虽然自变量和因变量之间没有严格的、确定性的函数关系，但可以设法找出最能代表它们之间关系的数学表达形式。 多元回归分析的由来 在自变量很多时，其中有的因素可能对应变量的影响不是很大，而且x之间可能不完全相互独立的，可能有种种互相作用的关系。
深入浅出：MATLAB在回归分析中的应用案例研究
在回归分析的学习中，我们首先会遇到一元回归模型，它是统计学中分析两个变量之间关系的最简单形式，其中只有一个解释变量（自变量）和一个响应变量（因变量）。一元回归模型有助于我们理解变量之间的线性关系，并...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值