离散特征之间的相关性

最新推荐文章于 2025-07-02 20:19:29 发布
原创 最新推荐文章于 2025-07-02 20:19:29 发布 · 3.4w 阅读 · 79 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#决策树 #特征相关 #数据挖掘

本文探讨了在数据挖掘中如何计算离散特征之间的相关性，通过信息熵和信息增益的概念，提出了使用信息增益和信息增益比来衡量离散特征的相关性。这种方法在决策树算法中也有应用，可以反映特征间的分类相似度，同时解决了信息增益对分类数目较多的特征偏向的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  在数据挖掘的时候，有时候我们会想计算不同特征之间的相关，比如在建模时用来减少冗余特征。连续特征之间的相关性很简单，用皮尔逊相关就可以了，是非常通用且有效的方法。但是在实践里面，大部分时候我们处理的是离散特征，所以这里想提出一个离散特征之间的相关计算办法。这是之前在看决策树C4.5的时候想到的一个思路，就是离散特征之间的相关，可以用决策树的经典算法中的信息增益和信息增益比来描述。

  假定有一组数据集S，两个离散特征分别为A和B。Entropy(SA)表示使用特征A对数据集S进行分类后，所对应的信息熵（如果是在分类问题里，那么这个特征A就是希望学会的分类）。信息熵的形式为


这里写图片描述

p(i)是特征A中，样品属于第i类的概率。如果样品都属于一个类别，那么Entropy(SA)=0，相反，样品类别越多，分布越均匀，则信息熵越大，也可以说这组数据的不纯度越高。比如A代表是否会打篮球这个特征，如果样品都是会打的，那么纯度就很高。

  决策树算法中的信息增益，被定义为


这里写图片描述

这个式子看起来有点复杂，其中Gain(SA_B)表示加入特征B分类之后的信息增益，i是根据特征B来分类的第i个类别，Bi是第i个类别的样品集合，|Bi|就是第i个类别的样品数目，|S|是总样品数，最后Entropy(SA_Bi)指的是对于在第i个类别的样品集，使用A来分类得到的信息熵。

  可以想象，如果A和B两个特征对S的分类是完全一致的，那么对于B所分的每一类数据子集，对A再进行分类也就归为一类，所以其信息熵Entropy(SA_Bi)全部为0，因而信息增益最大。A与B的分类越相似，信息增益的值也就越大，所以信息增益实际上就反映了A

最低0.47元/天 解锁文章

200万优质内容无限畅学
sky88088
关注
连续特征和离散分类特征在做相关性分析的时候 有什么不同
强化学习曾小健
06-02 1290
在数据分析中，连续特征和离散分类特征在做相关性分析时，会采用不同的方法，因为它们具有不同的数据特性。皮尔逊相关系数（Pearson correlation coefficient线性相关性。皮尔逊相关系数的值范围在-1到1可视化两个连续变量卡方检验（Chi-square test）两个变量的联合分布边缘分布的乘积两个变量之间存在某种关联列联表（contingency table）正态分布，而离散特征则不一定有此假设离散特征可能对分类的不平衡独热编码（One-Hot Encoding）转换为连续特征。
评估特征与二分类标签之间相关性的方法
井底小蛙的博客
03-03 820
通过综合使用统计检验、信息论和模型驱动方法，可全面评估特征与二分类标签的相关性。：先用快速方法（如卡方检验）初筛，再用计算密集型方法（如互信息）细选。：基于决策树（如随机森林、XGBoost）的分裂增益评估特征贡献。：同时评估多个特征时需校正p值（如Bonferroni校正）：区分连续/离散特征选择合适方法（如卡方检验仅用于分类特征）：任意特征类型（连续/离散）与二分类标签的非线性关系。：标准化均值差异，衡量二分类标签下连续特征的效应大小。：计算连续特征与二分类标签的线性相关性。
python通过信息增益的方法进行字符型离散特征之间的相关性分析
赴前尘
07-23 2245
参加了一个比赛，关于数据挖掘的多分类问题，特征集中包含了一些离散特征，通过计算信息增益来度量离散特征与目标特征之间的相关性 离散特征： accept_from 目标特征：CODE 代码实现： import pandas as pd import numpy as np # 信息熵 def info_entropy(attr): prob = pd.value_co...
卡方检验——离散型特征相关性分析
Zsusan7的博客
05-25 3841
import pandas as pd #导入读入数据的包 from sklearn.feature_selection import SelectKBest #卡方检验->判断离散型特征是否相关 from sklearn.feature_selection import chi2 #读取数据 data = pd.read_csv('./2013年八城市融合数据.csv',encoding='gbk') x= data[['归属感有无（0：有 1：无）','户口性质（0：农业 1：非农业）',
机器学习：集成学习方法之随机森林(Random Forest)
最新发布
wyy202206174248的博客
07-02 935
集成学习(Ensemble Learning)是机器学习中一种强大的范式，它通过构建并结合多个基学习器(base learner)来完成学习任务。集成学习的主要思想是"三个臭皮匠，顶个诸葛亮"，即通过组合多个弱学习器来获得一个强学习器。Bagging(Bootstrap Aggregating)：并行训练多个基学习器，然后通过投票或平均方式进行预测Boosting：串行训练基学习器，每个基学习器都试图修正前一个的误差。
相关性分析(二)之离散特征
Dream come ture~
12-16 4046
信息熵 基础 xix_ixi​的自信息： 反映特征的某个值，具有非负、单调减、可加和不确定性。表示收到某消息获得的信息量（即，收到某消息后获得关于某事件发生的信息量），公式如下： I(xi)=f[p(xi)]=−logrp(xi)，r=2I(x_i)=f[p(x_i)]=-log_rp(x_i)，r=2I(xi​)=f[p(xi​)]=−logr​p(xi​)，r=2 条件的自信息量： I(xi...
统计学与统计机器学习2--离散型数据的相关性
ANingL的博客
11-27 5713
文章目录一、数据预处理之独热编码0、引入1、概念2、使用独热编码处理离散数据的原因3、补充4、python实现 一、数据预处理之独热编码 0、引入 在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。可将分类值转化为数字表示，但是，即使转化为数字表示后，此类数据也不能直接用在我们的分类器中。因为，分类器往往默认数据是连续的，并且是有序的。但是，单纯的将分类值转换为数字得到的数据并不是有序的，而是随机分配的。 为解决上述问题，其中一种可能的解决办法是采用独热编码 1、概念 独热编码：ONE-HOT E
【小白话通信】离散分布之间的关系
青峰碧陋室
05-15 3011
下面我给出一些分布之间的关系： 分布之间的关系 1、多个独立同分布分布构成正态分布(林德伯格－列维(Lindeberg-Levy)定理) 2、多个伯努利分布构成二项分布 任何二项分布B(n,p)都是nB(n, p)都是n次独立伯努利试验的和，每次试验成功的概率为pp 3、几何分布是负二项分布的特殊形式 4、伽马分布与泊松分布的关系 假设X∼gamma(α,β
离散数学相关的概念
Cross_Entropy的博客
09-16 3149
文章目录setset 集合equal 集合的相等empty set 空集合cardinality 基数trust setFunction 函数函数domain, codomain, image, preimage, range,mapsinjection, one-to-onesurjective, ontobijection, one-to-one correspondenceinverse functioncompositiongraph of functionpartial functionCard
使用斯皮尔曼系数对离散值进行相关性分析
zhao_mou123的博客
07-17 3048
斯皮尔曼系数（Spearman correlation coefficient）是一种衡量两个变量之间的相关性的统计指标，它基于两个变量的等级（而不是原始的数值数据）进行计算。斯皮尔曼系数的取值范围在-1到1之间，其中-1表示完全的负相关，1表示完全的正相关，0表示无相关。与皮尔逊相关系数（Pearson correlation coefficient）不同，斯皮尔曼系数使用变量的等级（即排序）进行计算，而不是使用原始的数值数据。离散值可以通过将它们转换为等级来进行排名。
特征相关性
火鸡哥
09-19 4578
在主成份分析、数据探索上，经常要探索特征与特征、特征与因变量之间的相关性。下面记录几种相关性探索的方法。 方法一：单个特征与因变量的相关性直观显视 import matplotlib import matplotlib.pyplot as plt plt.style.use('fivethirtyeight')#设置数据可视化主题 names = col_name.copy() # 列名 nam...
使用Python计算离散变量之间的相关性
weixin_36897927的博客
07-10 276
在数据分析和统计学中，理解变量之间的相关性是关键的。本文将深入探讨如何使用Python计算离散变量(例如分类变量)之间的相关性。我们将介绍几种常用的方法和技术，以及如何通过实例应用这些方法来分析数据集中的离散变量之间的关系。离散变量的相关性概述离散变量指的是取有限个数值的变量，通常用于描述类别或标签。在实际数据分析中，我们...
3.2 分析特征间的关系
我走的每一步都算数
06-07 1663
如果有3个特征，若其中一个特征为类别型，散点图改变不同特征的点的形状或者颜色，即可了解两个数值型特征和这个类别型之间的关系。（scatter diagram）又称为散点分布图，是以一个特征为横坐标，另一个特征为纵坐标，利用坐标点（散点）的分布形态反映特征间的统计关系的一种图形。plot函数一次可以接收多组数据，添加多条折线图，同时分别定义每条折线图的颜色、点的形状和类型，还可以将这三个参数连接在一起，用一个字符串表示。值是由点在图表中的位置表示，类别是由图表中的不同标记表示，通常用于比较跨类别的数据。
为什么特征相关性非常的重要？
AI公园
06-11 2081
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Will Badr编译：ronghuaiyang导读鹳会接生孩子吗？虽然它已经在相关性和因果关系的背景下得...
【数据挖掘】特征相关性挖掘神器-线性非线性关系一键挖掘！
fengdu78的博客
05-09 2061
作者：杰少Kaggle竞赛知识点--PredictivePowerScore(PPS)简 介很多时候，我们在计算特征之间相关性或者绘制相关性矩阵的时候习惯性地会使用Pearson相关性，这...
机器学习之统计分析(2)
傲慢的上校的专栏
03-28 3678
前言最近在阿里云数加平台上学习一下机器学习，把学习中整理的资料记录于此，已备查看，以下资料主要是概念解释及应用。相关系数矩阵了解相关矩阵前先了解相关系数。 相关系数的取值范围为[-1,1]，当相关系数为1时，表示正相关；当相关系数为-1时，表示负相关；当相关系数为0时，表示不相关。 正相关：因变量随着自变量的增大而增大 负相关：因变量随着自变量的增大而减小 计算公式：相关矩阵
机器学习-特征中的相关性及相关系数、卡方检验、互信息
热门推荐
数据掘金
08-06 3万+
过滤式方法先按照某种规则对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关，这相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。相关系数法、卡方检验法和互信息法是进行特征选择时常用的几种过滤式方法。 变量之间的关系 变量之间的关系可分为两类： （1）存在完全确定的关系——称为函数关系，即Y=2X+3； （2）不存在完全确定的关系——虽然变量间有着十分密切的关系，但是不能由一个或多各变量值精确地求出另一个变量的值，称为相关关系，存在相关关系...
卡方检验--离散变量相关性分析--机器学习特征选择
weixin_44360866的博客
09-29 2829
机器学习 特征工程 相关性检验 过滤法 特征选择 卡方检验 假设检验
离散数据的相关性
03-25
<think>好的，用户想了解如何分析离散数据之间的相关性。首先，我需要回忆常用的方法。记得有卡方检验、斯皮尔曼相关系数、克莱姆V系数这些方法。 卡方检验适用于分类变量，通过比较实际频数和期望频数的差异来判断相关性。用户提供的引用[3]提到了卡方检验，当p值小于0.05时说明变量相关。这可能是一个重点，需要详细解释步骤和如何解读结果。 然后斯皮尔曼相关系数，引用[2]提到它是基于等级排序的，适合离散数据。特别是当数据是有序分类时，斯皮尔曼比皮尔逊更合适。需要说明它的使用场景和计算方法，比如将数据转换为秩次，然后计算相关系数。 克莱姆V系数是基于卡方检验的，调整了样本量和变量维度的影响，提供0到1的相关性强弱度量。用户可能不太熟悉这个，需要解释清楚它的公式和如何解释结果值。 另外，互信息和信息熵的方法可能也适用，虽然用户没提到，但作为补充方法可以提一下，特别是对于非线性的关系。 用户提供的引用中提到了交叉表，这在卡方检验中是必须的，所以需要强调建立交叉表的步骤。同时，可视化方面，引用[1]和[2]提到了相关性的可视化，可能需要建议使用热图或条形图来展示结果。 还要注意区分不同类型的离散数据，比如名义型和有序型，不同的方法适用性不同。例如，斯皮尔曼适合有序，而卡方和克莱姆V适合名义数据。 最后，需要给出Python实现的示例，比如使用scipy库中的卡方检验函数，或者pandas计算斯皮尔曼相关系数，这样用户可以直接应用。同时，提醒注意事项，比如样本量要求、p值的解读等。 总结下来，回答的结构应该是先介绍方法，分点详细说明每个方法的原理、步骤、适用场景，然后给出代码示例，最后注意事项和相关问题。确保引用标记正确，使用LaTeX格式表达公式，比如克莱姆V的公式用$$...$$，变量如$p$值用$...$。</think>要分析离散数据之间的相关性，常用的方法包括卡方检验、斯皮尔曼相关系数、克莱姆V系数（Cramer’s V）和互信息等。以下是具体方法的说明及实现步骤： --- ### 1. **卡方检验** **适用场景**：分析两个分类变量（名义型离散变量）的独立性。 **原理**：通过比较实际观测频数与期望频数的差异，判断变量是否相关。公式为： $$\chi^2 = \sum \frac{(O_{ij} - E_{ij})^2}{E_{ij}}$$ 其中$O_{ij}$是实际频数，$E_{ij}$是期望频数。 **步骤**： - 建立交叉表（列联表）统计变量组合的频数[^2] - 计算卡方统计量和对应的$p$值 - 若$p < 0.05$（显著性水平），则拒绝原假设，认为变量相关[^3] **Python示例**： ```python from scipy.stats import chi2_contingency # 交叉表示例数据 observed = [[10, 20, 30], [6, 15, 25]] chi2, p, dof, expected = chi2_contingency(observed) print(f"p值: {p}") # 若p < 0.05则相关 ``` --- ### 2. **斯皮尔曼等级相关系数** **适用场景**：分析有序离散变量（如评分等级）的单调关系。 **原理**：将数据转换为等级后计算皮尔逊相关系数，公式为： $$\rho = 1 - \frac{6\sum d_i^2}{n(n^2-1)}$$ 其中$d_i$是两变量等级的差值，$n$为样本量。 **特点**： - 对异常值稳健 - 要求变量至少为有序型 **Python示例**： ```python import pandas as pd data = pd.DataFrame({'A': [1, 2, 3, 4], 'B': [2, 3, 1, 4]}) spearman = data.corr(method='spearman') print(spearman) ``` --- ### 3. **克莱姆V系数** **适用场景**：量化两个分类变量相关性强弱（0到1之间）。 **公式**： $$V = \sqrt{\frac{\chi^2}{n \cdot (k-1)}}$$ 其中$\chi^2$为卡方统计量，$n$为样本量，$k$为变量类别数的较小值。 **解读**： - $V \approx 0$：无相关性 - $V \approx 0.1$：弱相关 - $V \approx 0.5$：中等相关 - $V \approx 1$：强相关 **Python示例**： ```python def cramers_v(confusion_matrix): chi2 = chi2_contingency(confusion_matrix)[0] n = confusion_matrix.sum() phi2 = chi2 / n r, k = confusion_matrix.shape return np.sqrt(phi2 / min(k-1, r-1)) ``` --- ### 4. **互信息（Mutual Information）** **适用场景**：捕捉非线性关系，适用于分类变量。 **原理**：基于信息熵衡量变量间的依赖程度，公式为： $$I(X;Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}$$ **Python实现**： ```python from sklearn.metrics import mutual_info_score mi = mutual_info_score(data['X'], data['Y']) ``` --- ### **可视化方法** - **热力图**：展示相关系数矩阵 - **堆叠条形图**：对比分类变量组合的分布 - **散点图（有序变量）**：观察等级趋势 --- ### **注意事项** 1. 卡方检验要求样本量充足（期望频数≥5的单元格占比≥80%） 2. 斯皮尔曼系数要求变量有序 3. 克莱姆V系数需结合$p$值综合判断显著性 ---
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值