“傻瓜”学计量——OLS2(多重共线性:方差膨胀系数VIF、容忍度)

多重共线性的影响、判定及消除的方法 目录 1 什么是多重共线性? 2 多重共线性的影响 3 共线性的判别指标(方差膨胀因子) 3.1 拟合优度 3.2方差膨胀因子VIF 4 多重共线性处理方法 4.1 手动移除出共线性的变量 4.2 逐步回归法 4.2.1向前法 4.2.2后退法 4.3 增加样本容量 4.4 岭回归 4.4.1最小二乘法求解多元线性回归 4.4.2 岭回归处理多重共线性 4.4.3 Lasso回归处理多重共线性 4.4.4 总结 1 什么是多重共线性? 回归分... 阅读详情
AI摘要

本文详细阐述了多重共线性的概念,包括其定义、产生的后果以及如何通过R^2、容忍度和方差膨胀系数检测。还介绍了解决多重共线性的方法,如剔除相关变量和使用主成分分析。,

提纲:

一、什么是多重共线性    定义+后果

二、怎么检测回归模型中有无多重共线性

三、出现多重共线性要怎么处理

一、什么是多重共线性?

(一)定义

多重共线性(Multicollinearity)是指多元线性回归中,自变量之间存在高度相关关系而使得回归估计不准确的情况。

按照相关程度分为两种:

1.精准相关

是指其中一个自变量是另外一个自变量的线性变换

举例:X2=a+b✖X3

2.高度相关

是指相关关系为“显著”

(二)为什么不能有多重共线性

简单来说,若存在多重共线性,假设为上图中所示,则原模型可以改写成下面的式子。而回归的结果并不知\beta2与\beta3之间如何分配,也即是不知道到底是给\beta2分配的多一些还是给\beta3分配的多一些。同理如果两个变量之间是高度相关的话,结果也类似。因此不能存在多重共线性。

(三)多重共线性的后果

1.高度相关的两个变量,系数非常敏感,且系数估计有误差

2.模型作为一个整体,拟合程度没有太大影响

3.多重共线性对模型的预测能力没有太大的影响

二、如何检测多重共线性


检验的基本逻辑:

以一个自变量作为因变量,其他自变量作为自变量,进行一个新的回归。

得到结果之后,我们要看每组回归结果的R^2。R是0~1之间的数据。若R=1,则说明,原模型的回归模型中的自变量能够完全解释因变量Y。

在上图这一组的回归结果中,如果第一个式子回归结果R^2=95%,则X1能被其他所有的自变量很好的解释。


(一)容忍度(Tolerance)

(二)方差膨胀系数(vif,variance inflation factor)

上图右侧的T、VIF指标的取值范围是表明模型存在多重共线性。

(三)stata指令

estat vif            在使用OLS模型中vif的使用方法

(在其他模型中使用上述代码stata会报错)


解决方法:

*将其他模型转换成OLS模型

*使用一个软件包collin

net describe collin, from(https://stats.idre.ucla.edu/stat/stata/ado/analysis)         下载指令软件包

net install collin                       安装软件包
collin 因变量 自变量                OLS模型之外其他模型的vif检验指令

(下载collin ado file的网址:https://stats.oarc.ucla.edu/stata/ado/analysis/)


三、多重共线性的解决方法

(一)如果只想用模型进行预测or不关心出现多重共线性的变量

可以不做处理

(二)能确定其中两个或多个高度相关

剔除其中一个或者多个变量

(主成分分析法,提取高度相关变量的一个两个特征值,作为控制变量进行回归。)

谈多重共线性 本文主要讨论古典假定中无多重共线性被违反的情况,主要情况包括多重共线性的实质和产生的原因、后果、检验方法及无多重共线性假定违反后的处置方法 阅读详情

相关推荐

数据预处理系列:多重共线性_检测和解决办法

多重共线性(Collinearity)指的是预测变量,也称为自变量,彼此之间并不是完全独立的。共线性是指两个特征之间存在线性关系(高度相关),并且它们被用作目标的预测变量。通常使用皮尔逊相关系数来衡量。多于两个预测变量之间也可能存在共线性(并且通常是这种情况)。多重共线性这个术语最初是由Ragnar Frisch提出的。多重共线性是共线性的一种特殊情况,其中一个特征与两个或更多特征呈线性关系。我们也可能出现这样的情况:多于两个特征之间存在相关性,但同时它们之间没有高度相关性。

数智笔记 5934

多重共线性

1.回归模型自变量彼此相关称为多重共线性,它给模型提供重复信息2.多重共线性会造成模型不稳定,可能会得到无法解释的现象3.检测共线性的方法通常有相关性分析,显著性检验和方差膨胀因子分析4...

咔咔响 1万+

多重共线性详解

目录 1、多重共线性的现象 2、出现的原因 3、判别标准 4、检验方法 5、多重共线性有什么影响 6、多重共线性处理方法 7、其他说明 8、多重共线性识别-python代码8.1、vif检验8.2 相关系数8.3 聚类 9、宏观把握共线性问题9.1、共线性的一般性的影响9.2、共线性对线性回归、逻辑回归的影响 10、statsmodel库DF Residuals:残差的自由度Df Model:模型参数个数(不包含常量参数)R-squared:可决系数adj-R-squared:修正可决系数 1、多重共线性

→★佐佑思维★← 4万+

什么是多重共线性?

本文详细介绍了多重共线性的概念和检测方法。

学习与分享人工智能技术 1888

应用回归分析:多重共线性

多重共线性是回归分析中一个常见的问题,它发生在预测模型的多个自变量之间存在高度相关性时。这种现象不仅会降低模型的精确性,还会使得模型的解释变得更加困难。本文将深入探讨多重共线性的概念、识别方法、产生的影响以及如何处理这一问题。

Allen1862105的博客 3032

多重共线性问题的几种解决方法

在多元线性回归模型经典假设中,其重要假定之一是回归模型的解释变量之间不存在线性关系,也就是说,解释变量X1,X2,……,Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定,即线性回归模型中某一个解释变量与其他解释变量间存在线性关系,就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设,将给普通最小二乘法带来...

weixin_34177064的博客 8319

数模学习——多元线性回归

优快云的小伙伴们大家好!本篇文章将和大家共同学习数模比赛中经常用到的一种回归算法——多元线性回归。目前,关于数模中多元线性回归的教学大多都是从相关原理出发,再结合例题进行讲解。然而,很多算法的原理对于非专业学生来说往往显得晦涩难懂。鉴于很多小伙伴和我一样,并非相关专业的学生,只是希望在数模比赛中能够实际应用一些有用的算法,因此,本文将重点介绍多元线性回归在数模比赛中的适用题型和具体的应用步骤。对于其中涉及到的相关原理,感兴趣的小伙伴们可以自行查阅相关书籍或数学建模资料进行深入学习。

2301_79906879的博客 2049

多重共线性检测—相关性系数矩阵和方差膨胀系数(VIF)分析学习

多重共线性(Multicollinearity) 是在多元线性回归分析中经常遇到的一个问题,它发生在当两个或更多的预测变量(自变量)在统计模型中高度相关。

zfyyzhys的博客 9042

深入理解多重共线性:基本原理、影响、检验与修正策略

多重共线性是指数据集中两个或多个自变量(预测变量)之间存在强烈的线性相关性。简而言之,这些自变量包含了重叠的信息,而不是提供预测因变量(目标变量)所需的唯一信息,使得模型难以确定每个自变量的individual贡献。在回归分析中,自变量(independent variable)是影响结果的因素,而因变量(dependent variable)是我们试图预测的结果。举个例子,在房价预测模型中,房屋面积、卧室数量和地理位置等因素被视为自变量,而房价作为因变量,取决于这些自变量的变化。

deephub 5910

分子动力学模拟学习1-采用AmberTools21的MCPB.py构建金属蛋白的top文件

分子动力学模拟学习1-采用AmberTools21的MCPB.py构建金属蛋白的top文件

weixin_45011386的博客 3823

STM32驱动HC-SR04超声波模块:两种精准测距方案详解

本文详解STM32驱动HC-SR04超声波模块的两种精准测距方案:定时器中断计数法和外部中断边沿检测法。涵盖硬件连接、代码实现与优化技巧,帮助开发者根据精度和复杂度需求选择合适方案,提升超声波测距在嵌入式项目中的稳定性和准确性。

g5h6i的博客 682

方差膨胀因子(VIF)学习

参考博客:https://blog.youkuaiyun.com/jiabiao1602/article/details/39177125 1.导入数据,R自带研究共线性的数据集 该数据集有7个变量,其中GNP.deflator可以作为yyy rm(list=ls()) data=longley print(data) 2.对全变量建立回归模型 model=lm(GNP.deflator~.,data=d...

SCIEIYXK的博客 3万+

DeepSeek+Dify实战:零代码构建智能SQL生成器

本文详细介绍了如何利用DeepSeek和Dify零代码构建智能SQL生成器,帮助非技术人员通过自然语言查询数据库。文章涵盖从数据准备、知识库设计到Agent配置的全流程,并提供了优化技巧和实际应用案例,显著提升团队数据查询效率。

weixin_29311017的博客 418

多元线性回归—多重共线性

多重共线性问题

weixin_46649908的博客 7889

STM32+OpenCV云台PID调参实战:从震荡到丝滑跟踪的进阶之路

本文详细介绍了基于STM32和OpenCV的跟踪云台PID调参实战经验。从硬件搭建、PID控制原理到调参技巧,系统讲解了如何通过调整比例、积分和微分参数解决系统震荡问题,实现从震荡到丝滑跟踪的进阶过程,特别适合电赛和嵌入式视觉控制开发者参考。

tgb3456789的博客 715

图信号处理中的多尺度分析:图小波变换与图傅里叶变换的对比与应用

本文深入探讨了图信号处理中的多尺度分析方法,重点对比了图小波变换(GWT)与图傅里叶变换(GFT)的技术特点与应用场景。通过分析图的拓扑结构,GWT展现出强大的局部洞察力,适用于异常检测和社区发现;而GFT则擅长全局频率分析,适合趋势分析和信号去噪。文章结合实战案例,为读者提供了方法选型指南和前沿进展,帮助开发者在生物信息学、社交网络分析等领域高效应用这些技术。

weixin_30369041的博客 406

stata做计量入门常用代码一览!

在经管论文实证中,常常要分行业分年度、分省份分年度等分组回归,保存出回归出来的某些参数。常用的 命令参考如下: 一、statsby的命令格式及说明 statsby命令格式为: statsby [exp_list] [, options ]: command 其具体内容,请参见STATA的help文件,即: help statsby 在分组回归中,statsby最重要的是如下三个部分: ...

weixin_41158001的博客 1万+

计算机组成原理(第三版)唐朔飞-第四章存储器-课后习题

计算机组成原理(第三版)唐朔飞-第四章存储器-课后习题

weixin_45735391的博客 17万+

膨胀系数学习笔记

膨胀系数是用于判断多元线性回归模型中自变量共线性程度的指标。通常情况下,我们用方差膨胀因子(VIF)来表示膨胀系数。VIF是一种广义的方差膨胀因子,表示一个自变量的方差在所有自变量的方差和中所占比例。如果某个自变量的VIF值过大,则说明该自变量与其他自变量高度相关,可能存在共线性问题。膨胀系数是多元线性回归中解决自变量共线性问题的工具之一,通常用方差膨胀因子(VIF)来表示。通过计算每个自变量的膨胀系数,我们可以判断它们之间是否存在共线性,并考虑采取适当的措施来解决共线性问题。

m0_72410588的博客 1426

小麦病害检测系统开发

本项目旨在针对小麦病害小目标检测任务,在YOLOv11基础上进行三项改进: - 将主干网络替换为Swin Transformer,增强全局特征提取能力。 - 在检测头中引入DynamicHead,并增加检测头数量至四个,提升多尺度检测性能。 - 集成半监督FixMatch训练框架,利用无标签数据提升模型泛化能力。 我们定义五个模型进行对比实验: - Model 0: 原始YOLOv11 (有监督) - Model 1: YOLOv11 + Swin Transformer (有监督) ~~~~~~

AI的内部世界的博客 121

将Dify平台开发的工作流集成到Open WebUI中

将Dify开发的工作流集成到Open WebUI是一个能够显著增强AI应用交互能力和业务逻辑深度的有效途径。其核心在于通过API建立两者间的通信桥梁,并确保API在格式、协议和行为上的一致性,特别是向OpenAI Chat API规范看齐。最简单直接的路径是利用Dify的“对话型”或“Agent型”应用,这类应用的API设计更倾向于满足Open WebUI这类聊天前端的期望。然而,面对复杂的现实场景,直接的完美兼容并非总是唾手可得。

形上得其象,形下合于数;阴阳自济,玄理自明。 2030

多重共线性的产生原因、判别、检验、解决方法

最近做回归分析,出现了相关系数与回归方程系数符号相反的问题,经过研究,确认是多重共线性问题并探索了解决方法。 在此将多重共线性的相关知识整理如下。 解释变量理论上的高度相关与观测值高度相关没有必然关系,有可能两个解释变量理论上高度相关,但观测值未必高度相关,反之亦然。所以多重共线性本质上是数据问题。 造成多重共线性的原因有一下几种: 1、解释变量都享有共同的时间趋势; 2、一个解

第一自然的专栏 13万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

机器学习:多重共线性

1 什么是多重共线性

读万卷书 行万里路 2958

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

讲讲共线性问题

作者:JSong,时间:2017.12.18,公众号:JSong老师 多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中,例如决策树和贝叶斯,前者的建模过程是逐步递进,每次拆分只有一个变量参与,这种建模机制含有抗多重共线性干扰的功能;后者干脆假定变量之间是相互独立的,因此从表面上看,也没有多重共线性的问题。但是对于回归算法,不论是一般回归,逻辑回归,或存活分析,都要同时考虑多个预测因...

weixin_30407613的博客 1778
上一篇: “傻瓜”学计量——OLS1(变量及模型的选取、回归结果3000字超详细解读)
下一篇: “傻瓜”学计量——内生性
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值