R语言|数据预处理--4变量分析及相关性

最新推荐文章于 2024-06-10 14:41:59 发布

原创最新推荐文章于 2024-06-10 14:41:59 发布 · 2.2w 阅读

32 ·

CC 4.0 BY-SA版权

文章标签：

#r语言 #数据清洗

R语言同时被 2 个专栏收录

14 篇文章

订阅专栏

数据清洗

7 篇文章

订阅专栏

本文探讨了如何分析数据集中变量间的相关性，包括数值型和分类变量与目标变量的相关性评估方法。通过实例展示了使用R语言进行相关系数计算、卡方检验及变量分布可视化的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因变量与自变量之间的关系包括两种：自变量为数值类型和分类类型

请参考R项目客户回复预测与效益最大化

1、分别查看数据的属性为数值型和因子类型的属性

which(sapply(cup98, is.numeric))

> idx.num

ODATEDW DOB CLUSTER AGE NUMCHLD INCOME WEALTH1 HIT

1 6 10 11 17 18 20 21

。。。

>which(sapply(cup98, is.factor))

OSOURCE STATE ZIP PVASTATE RECINHSE MDMAUD DOMAIN

2 3 4 5 7 8 9

64 65 67

。。。

2、求数值/分类变量与因变量的相关性：

1）、查看因变量与其他数值型变量之间的相关系数：

> correlation <- cor(cup98$TARGET_D, cup98[, idx.num], use="pairwise.complete.obs") use为对存在缺失值计算相关系数的方法，即使在数据中存在缺失值，相关系数的计算结果也不可能为NA

> correlation<-abs(correlation)

> correlation<- correlation[, order(correlation, decreasing=T)]

> correlation

TARGET_D TARGET_B LASTGIFT RAMNTALL AVGGIFT

1.00000000000.7742323755 0.0616784458 0.0448101061 0.0442990841

MAXRAMNT INCOME CLUSTER2 NUMPRM12 WEALTH1

0.03922375090.0320627023 0.0290870830 0.0251337775 0.0248673117

MINRAMNT LASTDATE NUMPROM CLUSTER CARDPM12

0.02015786860.0188471021 0.0173371740 0.0171274879 0.0163577542

NUMCHLD CONTROLN CARDPROM FISTDATE ODATEDW

0.01492048990.0133664439 0.0113023931 0.0075324932 0.0069484311

HIT CARDGIFT NGIFTALL MAXADATE TIMELAG

0.00664837280.0064498822 0.0048990126 0.0044963520 0.0036115917

DOB HPHONE_D AGE RFA_2F

0.00275414720.0024315898 0.0022823598 0.0009047682

查看任意两个数值型变量之间的相关系数，并绘制散布图：

> cor(cup98[,idx.num])

> pairs(cup98)

绘制数值变量的散布图，并基于目标变量设置点的颜色：

使用函数jitter()添加少量的噪声数据，在存在大量重叠时间点的情况这种设置很有用

> color <-ifelse(cup98$TARGET_D > 0, "blue", "black")

> pch <-ifelse(cup98$TARGET > 0, "+", ".")

>plot(jitter(cup98$AGE), jitter(cup98$HIT), pch=pch, col=color, cex=0.7,ylim=c(0, 70), xlab="AGE", ylab="HIT")

>legend("topleft", c("TARGET_D>0","TARGET_D=0"), col=c("blue", "black"),pch=c("+", "."))

2）、对于分类变量，使用卡方检验查看自变量与因变量之间的关系：

> myChisqTest<- function(x) {

+ t1 <- table(cup98pos[,x], cup98pos$TARGET_D2)

+ plot(t1, main=x, las=1)

+ print(x)

+ print(chisq.test(t1))

+ }

>myChisqTest("GENDER")

[1]"GENDER"

Pearson's Chi-squared test

data: t1

X-squared = NaN, df= 42, p-value = NA

卡方值越大，说明相关性越小

对所有的分类变量求与因变量的卡方值：

> idx.cat <-which(sapply(cup98pos, is.factor))

>sapply(names(idx.cat), myChisqTest)

3、数据集接《3缺失值离群点处理》中2

变量分析

#1）单变量分析

#简单地看下部分变量的分布，比如对于age变量，如下图：

ggplot(traindata,aes(x = x2, y = ..density..)) + geom_histogram(fill = "blue", colour= "grey60", size = 0.2, alpha = 0.2) + geom_density()

#可以看到年龄变量大致呈正态分布，符合统计分析的假设。再比如月收入变量，也可以做图观察观察，如下：

ggplot(traindata,aes(x = x5, y = ..density..)) + geom_histogram(fill = "blue", colour= "grey60", size = 0.2, alpha = 0.2) + geom_density() + xlim(1,20000)

#月收入也大致呈正态分布，符合统计分析的需要。

#2）变量之间的相关性：建模之前首先得检验变量之间的相关性，如果变量之间相关性显著，会影响模型的预测效果。下面通过corrplot函数，画出各变量之间，包括响应变量与自变量的相关性。

cor1 <-cor(traindata[, 1:11])

library(corrplot)

corrplot(cor1)

corrplot(cor1,method="number")

#由上图可以看出，各变量之间的相关性是非常小的。其实Logistic回归同样需要检验多重共线性问题，不过此处由于各变量之间的相关性较小，可以初步判断不存在多重共线性问题，当然我们在建模后还可以用VIF（方差膨胀因子）来检验多重共线性问题。如果存在多重共线性，即有可能存在两个变量高度相关，需要降维或剔除处理。