使用R对共线性检验

最新推荐文章于 2024-07-25 10:11:38 发布

原创最新推荐文章于 2024-07-25 10:11:38 发布 · 1.6w 阅读

43 ·

CC 4.0 BY-SA版权

文章标签：

#R 回归数据分析模型诊断

数据建模专栏收录该内容

7 篇文章

订阅专栏

本文探讨了高维数据中的共线性问题及其对回归分析的影响，并介绍了Lasso回归作为一种有效解决共线性和变量选择的技术。文章还提供了R语言实现的例子。

高维数据常会出现共线性、变量选择等问题。如何消除共线性确定最佳模型，是回归分析的一个重点。传统的最小二乘估计在处理多重共线性问题上往往有令人不太满意的地方，主要有两点: 一是预测准确性，二是模型可解释性。目前处理严重共线性的常用方法有以下几种: 主成分回归、逐步回归、岭回归等，这些方法有各自的优缺点多重共线性的Lasso 方法兼有子集选择和岭估计的优点，同时进行变量选择与未知参数估计。选择最佳模型的标准有 Cp、AIC、BIC准则，它们也有各自的适用范围。（Mallows Cp 统计量用来作为逐步回归的判停规则，对于一个好的模型，它的Cp统计量非常接近于模型的参数数目）

Robert Tibshirani （就是R中MASS以及 The Elements of Statistical Learning的作者之一）于 1996 年提出了一种新的变量选择技术Lasso，即 Least Absolute Shrinkage and Selection Operator 就是翻译过来颇显别扭的套索回归， lasso方法用模型系数的绝对值函数作为惩罚来压缩模型系数，使一些回归系数变小，甚至使一些绝对值较小的系数直接变为0 。

本文先从普通回归说起：

R语句如下

library(car)
D=read.csv("/Users/Documents/train_test_model/ridgereg1.csv",sep=",") # 加载数据
a=lm(y~., data=D);summary(a) # 定义模型，summary为输出汇总
vif(a) # 输出模型汇总

得到一下拟合检验参数

Call:
lm(formula = y ~ ., data = D)
Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 11.011694   1.718393   6.408 4.94e-06 ***
long         1.692736   0.369589   4.580 0.000232 ***
touwei      -2.158831   0.535513  -4.031 0.000783 ***
weight       0.007472   0.001144   6.531 3.87e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.163 on 18 degrees of freedom
Multiple R-squared:  0.9754,	Adjusted R-squared:  0.9713 
F-statistic: 238.1 on 3 and 18 DF,  p-value: 1.14e-14
long
200.013181140721
touwei
209.429825510575
weight
9.68788132590006

通过vif方差膨胀因子可以知道上面三个变量存在严重的共线性，有书中规定超过10就算存在严重共线性同时分析回归系数，婴儿的头围越大，年龄应该越大才对，不应该是负向预测关系，从这里也可以看出一些端倪以上是我们依据数据诊断出多元回归中自变量存在严重共线性，当然在spss中也是可以直接选择，杜宾-瓦特森检验，也是统计分析中常用的一种检验序列一阶自相关最常用的方法。所以不能直接使用常规ols方法。于是请看下面的解决办法。#我们进一步的对检测回归分析的另一个前提--即方差齐性

library(MASS)
install.packages("gvlma") #导入gvlma包
library(gvlma)
gvmodel <- gvlma(a)
summary(gvmodel)

得到如下参数

Call:
lm(formula = y ~ ., data = D)
Residuals:
Min       1Q   Median       3Q      Max 
-1.87262 -0.69499 -0.09376  0.74618  2.80676 
Coefficients:
Estimate Std. Error t value Pr(>|t|)    
(Intercept) 11.011694   1.718393   6.408 4.94e-06 ***
long         1.692736   0.369589   4.580 0.000232 ***
touwei      -2.158831   0.535513  -4.031 0.000783 ***
weight       0.007472   0.001144   6.531 3.87e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Call:
gvlma(x = a) 
Value p-value                   Decision
Global Stat        6.6421 0.15605    Assumptions acceptable.
Skewness           0.7794 0.37733    Assumptions acceptable.
Kurtosis           0.1147 0.73484    Assumptions acceptable.
Link Function      1.7108 0.19088    Assumptions acceptable.
Heteroscedasticity 4.0372 0.04451 Assumptions NOT satisfied!

可以得出，异方差性违反，也违反了普通最小二乘建模的前提。如果还是不死心，我们来看看残差分析吧。

#建模试试，看是否存在异常

lm.sol<-lm(y~.,data=D)
summary(lm.sol)
#可视化，残差与预测散点图
plot(fitted(lm.sol), resid(lm.sol),
cex=1.2, pch=21, col="red", bg="orange"
xlab="Fitted Value", ylab="Residuals")