【特征选择】互信息法

互信息法的原理详解 尽管f_regression巧妙的构建了一个F统计量,并借此成功的借助假设检验来判断变量之间是否存在线性相关关系,但f_regression仍然存在较大局限,首当其冲当然是f_regression只能挖掘线性相关关系,也就是两个变量的同步变化关系,但除了线性关联关系外,变量之间存在其他类别的“关联关系”也是有助于模型建模,而其他类型的关系,无法被f_regression识别;不难发现,参数方法是借助样本估计总体,然后根据总体进行推断的过程,而非参数方法则无需总体信息即可计算。接下来我们就进一步介绍可以。 阅读详情

特征选择最强工具:互信息法|原理+公式+Python实战全攻略

互信息法(Mutual Information)是最强大、最通用的特征选择方法之一,专门用来衡量特征与目标变量之间的关联强度。它不要求正态分布、不限制线性关系,能捕捉各种复杂关系,是机器学习、数据分析、特征工程的必备技能。


一、互信息法是什么?一句话看懂

互信息 = 衡量“特征”能告诉你多少关于“目标”的信息。

  • 互信息越大 → 特征越有用
  • 互信息越小 → 特征越没用
  • 互信息=0 → 特征和目标完全无关

它不关心是不是线性、不关心是不是正态、不关心是什么分布,只关心:这个特征能不能帮我预测结果!


二、最通俗的比喻:猜谜游戏

你要猜一个秘密(目标变量),比如:

  • 目标:这个人会不会生病
  • 特征:年龄、体重、身高、饮食、运动

互信息就是在告诉你:

  • 年龄:能帮你猜中很多 → 互信息高
  • 身高:几乎帮不上忙 → 互信息低

互信息法就是:只留下能帮你猜中答案的特征!


三、互信息法的 3 大超级优势(必记)

  1. 能捕捉非线性关系(皮尔逊相关系数做不到)
  2. 不要求正态分布(所有数据都能用)
  3. 分类任务、回归任务都能用

四、数学原理(简单易懂版)

互信息来自信息论,核心是:
信息熵(不确定性)

1. 信息熵 H(X)

衡量一个变量有多不确定、有多乱。
H(X)=−∑P(x)log⁡P(x)H(X) = -\sum P(x)\log P(x)H(X)=−∑P(x)logP(x)

2. 互信息公式(最核心)

I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y) = H(X) + H(Y) - H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)

人话解释:
互信息 = X自己的混乱度 + Y自己的混乱度 - X和Y一起的混乱度

  • 如果X和Y完全没关系 → 互信息=0
  • 如果X和Y关系很强 → 互信息很大

五、互信息法做特征选择的步骤

  1. 计算每个特征和目标之间的互信息
  2. 按互信息从大到小排序
  3. 选择Top-K 个特征(比如前3、前5、前10)
  4. 扔掉互信息低的无用特征

六、Python 完整实战(可直接运行)

我们用健康预测数据集,用互信息法筛选最重要特征。

1. 导入库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import LabelEncoder, StandardScaler
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_selection import mutual_info_classif

2. 生成模拟数据

np.random.seed(42)

def create_dataset():
    n_samples = 1000
    age = np.random.randint(18, 80, size=n_samples)
    height = np.random.randint(150, 200, size=n_samples)
    weight = np.random.randint(40, 120, size=n_samples)
    diet = np.random.choice(['Good', 'Average', 'Poor'], size=n_samples)
    exercise = np.random.choice(['None', 'Low', 'High'], size=n_samples)
    health_status = np.random.choice([0, 1], size=n_samples, p=[0.7, 0.3])

    df = pd.DataFrame({
        'age': age,
        'height': height,
        'weight': weight,
        'diet': diet,
        'exercise': exercise,
        'health_status': health_status
    })
    return df

df = create_dataset()
print(df.head())

3. 数据预处理

# 分类变量编码
le = LabelEncoder()
df['diet'] = le.fit_transform(df['diet'])
df['exercise'] = le.fit_transform(df['exercise'])

# 特征与目标分离
X = df.drop('health_status', axis=1)
y = df['health_status']

# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

4. 计算互信息(核心步骤)

mi = mutual_info_classif(X_scaled, y)

mi_df = pd.DataFrame({
    'Feature': X.columns,
    'Mutual_Information': mi
}).sort_values(by='Mutual_Information', ascending=False)

print("==== 特征互信息排序 =====")
print(mi_df)

5. 可视化互信息

plt.figure(figsize=(10, 5))
sns.barplot(x='Mutual_Information', y='Feature', data=mi_df, palette='viridis')
plt.title('特征互信息排序')
plt.tight_layout()
plt.show()

6. 选择Top-K特征

# 选择互信息最高的前3个特征
top_k = 3
top_features = mi_df['Feature'].head(top_k).tolist()
print("最有用的特征:", top_features)

X_selected = X[top_features]

7. 训练模型 & 评估

X_train, X_test, y_train, y_test = train_test_split(
    X_selected, y, test_size=0.2, random_state=42
)

model = RandomForestClassifier(random_state=42)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

print(classification_report(y_test, y_pred))

8. 混淆矩阵可视化

cm = confusion_matrix(y_test, y_pred)
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
plt.title('混淆矩阵')
plt.xlabel('预测')
plt.ylabel('真实')
plt.show()

9. 交叉验证

scores = cross_val_score(model, X_selected, y, cv=5)
print("交叉验证准确率:", scores.mean())

七、互信息法的优点(必背)

  1. 能捕捉非线性关系(秒杀皮尔逊相关系数)
  2. 不要求正态分布(所有数据都能用)
  3. 分类、回归都能用
  4. 对异常值不敏感
  5. 能发现隐藏关系

八、互信息法的缺点

  1. 计算比简单方法慢一点
  2. 小样本下估计不太准
  3. 不能处理多重共线性(两个强相关特征都会被保留)

九、什么时候必须用互信息法?

  • 特征和目标不是线性关系
  • 数据不符合正态分布
  • 你不知道数据是什么分布
  • 你想找最有用的特征
  • 分类/回归任务都可以

十、最简单总结(背诵版)

  • 互信息 = 特征对目标的信息量
  • 越大越有用,越小越没用
  • 不要求线性、不要求正态
  • 计算 → 排序 → 选Top-K → 建模
  • 最通用、最强大的特征选择方法之一
数据预处理-相关性过滤(F检验和互信息法) F检验      F检验,又称ANOVA,方差齐性检验,是用来捕捉每个特征与标签之间的线性关系的过滤方法。它即可以做回归也可以做分类,因此包含feature_selection.f_classif(F检验分类) 和 feature_selection.f_regression(F检验回归)两个类。其中F检验分类用于标签是离散型变量的数据,而F检验回... 阅读详情

相关推荐

特征工程之特征选择(3)----F检验和互信息法

文章目录前言F检验法F检验概述示例互信息法互信息法概述示例 前言 前面已经讲了方差过滤和卡方过滤,如果这两种方法过滤后的数据还是不能令人满意,就可考虑这篇文章要将的F检验法,和互信息法。 F检验法 F检验概述 F检验又称为ANOVA,方差齐性检验,是用来捕捉标签与每个特征之间线性关系的过滤方法。F检验即可做分类也可以做回归 分类:feature_selection.f_classif(标签离散) 回归:feature_selection.f_regression(标签连续) 与卡方检验一样,这两个方法都要

weixin_43776305的博客 3899

互信息法概念

互信信息法概要

qhqlnannan的专栏 1792

特征选择实战:用F检验和互信息法,在Kaggle比赛中快速锁定关键特征

本文详细介绍了在Kaggle竞赛中如何利用F检验和互信息法进行高效特征选择,帮助数据科学家快速锁定关键特征。通过实战案例和代码示例,展示了这两种方法的组合应用如何提升模型性能、减少计算负担并增强特征可解释性,特别适合处理高维数据集。

weixin_30564901的博客 471

一文讲透Python机器学习特征选择之互信息法

互信息量度的是特征变量X和响应变量y共享的信息,或者说知道这两个变量其中的一个,对另一个不确定度减少的程度。因此,如果特征变量X和响应变量y相互独立,则知道特征变量X将不对响应变量y提供任何信息,反之亦然,此时特征变量X和响应变量y的互信息为零。而如果特征变量X是响应变量y的确定性函数,响应变量y也是特征变量X的确定性函数,比如y=aX+B,那么此时传递的所有信息都被特征变量X和响应变量y共享,或者说知道特征变量X将可以完全预测响应变量y,则此时特征变量X和响应变量y的互信息为最大。

m0_72274883的博客 4474

机器学习特征筛选:互信息法(mutual information)

机器学习特征筛选:互信息法(mutual information) 互信息法多为分类问题的分类变量的筛选方法 经典的互信息也是评价定性自变量对定性因变量的相关性的,为了处理定量数据,最大信息系数法被提出,互信息计算公式如下: # mutual information # 互信息法 # 自己手写理论公式实现功能 # np.where(condition, x, y) # 满足条件(condition),输出x,不满足输出y。 # numpy.intersect1d(ar1, ar2.

data+scenario+science+insight 8315

MATLAB互信息法特征选择工具箱

特征选择的方法多种多样,包括过滤法(Filter)、包裹法(Wrapper)和嵌入法(Embedded)。过滤法依据特征自身的统计属性独立于模型对特征进行评分和选择;包裹法通过机器学习算法的性能来指导特征的选择;嵌入法则是在模型训练过程中融合特征选择的步骤。在实际操作中,需要根据具体问题和数据的特点来选择合适的特征选择策略。互信息(Mutual Information, MI)是信息论中用于衡量两个变量之间相互依赖性的量。它的数学定义基于信息熵的概念,信息熵是衡量系统随机性的度量。

weixin_28729843的博客 828

特征选择过滤法-方差过滤、F检验、互信息法

在sklearn中,决策树和随机森林都是随机选择特征进行分枝,但决策树在建模过程中随 机抽取的特征数目却远远超过随机森林当中每棵树随机抽取的特征数目(比如对于这个 780维的数据,随机森林每棵树只会抽取10-20个特征,而决策树可能会抽取200~400个 特征),因此,过滤法对随机森林无用,却对决策树有用。所以无论接下来的特征工程要做什么,通过这条曲线,可以观察到,随着k值的不断增加,模型的表现不断上升,这说明,k越大越好,数据中所有的特征都是与特征相关的。

talle2021的博客 8925

支付逻辑漏洞的八大姿势(上篇)

学习支付漏洞,看这篇文章!!!文章来源:SecHub网络安全社区(本资料仅供学习参考,严禁使用者进行未授权渗透测试!严禁任何形式的转载!

qq_39493066的博客 1360

互信息法特征选择Matlab程序

互信息法特征选择Matlab程序 去发现同类优质开源项目:https://gitcode.com/ 简介 本仓库提供了一款基于互信息法的特征选择Matlab程序。互信息法是一种基于信息论的特征选择方法,用于筛选出与目标变量相关性较高的特征,常应用于机器学习、模式识别等领域。 功能 实现互信息法的计算与特征选择 支持多种数据格式输入 提供可视化结果展示 使用方法 下载并解压程序压缩包 将解压后...

gitblog_06788的博客 263

白盒测试逻辑覆盖之谓词覆盖、子句覆盖、三类有效字句覆盖等知识点

本篇笔记会简化书本上的概念,用容易理解的方式来说明,有些例子打字麻烦,我会直接放图片! 目录 基础知识: 谓词覆盖predicate coverage 子句覆盖 clause coverage 组合覆盖 combinatorial coverage 有效字句覆盖Active Clause Coverage 广义有效子句覆盖(General Active Clause Coverage) 相关性有效子句覆盖(Correlated Active Clause Coverage) 限制性有效

weixin_46019681的博客 2668

Ubuntu虚拟机磁盘扩容实战:5分钟搞定gparted分区调整(附常见错误修复)

本文详细介绍了在Ubuntu虚拟机中使用gparted工具进行磁盘扩容的实战步骤。针对常见的交换分区阻碍问题,提供了从禁用交换空间、删除旧分区、调整主分区大小到重建交换分区并更新系统配置的完整解决方案,帮助用户在5-10分钟内安全高效地解决磁盘空间不足的难题。

1a2s3d4f5g的博客 671

互信息法特征选择Matlab程序:智能特征筛选的利器

互信息法特征选择Matlab程序:智能特征筛选的利器 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在机器学习和模式识别领域,特征选择是一项关键任务。它能从原始数据中筛选出具有较强关联性的特征,降低数据维度,提高模型性能。今天,我要为大家推荐一款基于互信息法的特征选择Matlab程序,它能帮助你轻松实现特征选择,提升模型效果。 项目技术分析 互信息法是一种基于信息论的...

gitblog_06759的博客 368

AI Agent Harness内容审核:生成内容合规

在过去的几年里,生成式人工智能(Generative AI)技术取得了爆炸性的发展。从 GPT-4、Claude 这样的文本生成模型,到 Midjourney、Stable Diffusion 这样的图像生成工具,再到 Sora 这样的视频生成模型,AI 已经具备了媲美甚至超越人类的内容创作能力。然而,技术是一把双刃剑。随着生成式 AI 的普及,内容安全与合规风险也呈指数级增长。

AI架构师小马 302

特征选择(2):特征选择:方差选择法、卡方检验、互信息法、递归特征消除、L1范数

变量筛选-比例发 变量筛选-方差法 变量的筛选-KBest

qq_28611929的博客 7395

【微信小程序-uniapp】CustomPicker 自定义单项选择器组件

自定义底部弹出框单项选择器组件,适用于uniapp小程序

Komorebi_00的博客 1533

.Net如何使用Web API实现数据交互?

数据模型代表了要交互的数据结构。例如,假设我们要创建一个简单的图书管理系统,我们可以定义一个Book类作为数据模型。set;set;set;

Code365 263

几种特征选择的方法汇总:RFE,卡方检验,方差分析,互信息法,以及两种嵌入的方法

最近处理数据的时候尝试了一下特征选择,在此记录一下常用的方法,以便日后查阅: 先贴一下原始数据: 1.RFE特征选择 2.方差分析 3.互信息法 4 卡方检验 5.1嵌入的方法: 基于L1范数:使用带惩罚项的基模型,除了筛选出特征外,同时也进行了降维 5.2嵌入的方法: 基于树模型的特征选择:树模型中GBDT也可用来作为基模型进行特征选择,使用feature_selection库的Se...

qq_41978536的博客 4483

【AI Agent 记忆共享实战】【下篇】多 Agent 会话 Session 统一共享实战:全链路工程落地、采集归一、MCP 服务、私有化部署、源码级实战

中篇我们已经锁定最终最优架构方案: 非侵入式、外部旁路采集、只读归一、中心化存储、MCP 按需检索注入。摒弃「改 Agent 源码」「软链接互通」「原生 Session 互导」等不现实方案。本篇直接落地可上线、可简历复用、可个人私有化部署多 Agent 异构 Session专属采集器(Claude/CODex/DSH/OpenCode/Kimi/WorkBuddy/ 豆包)统一消息归一化解析层(解决所有 Schema 异构)增量同步、去重、时间戳对齐核心逻辑。

十年老程序猿,AI 疯狂研究专家,前沿硬核知识分享 487

机器学习特征选择实战:方差过滤、卡方检验与互信息法

特征选择是机器学习预处理的关键环节,通过筛选最具预测力的特征子集来优化模型性能。其核心原理是评估特征与目标变量的相关性,常见方法包括基于统计检验的卡方检验、衡量信息增益的互信息法以及简单高效的方差过滤。这些技术能有效降低维度灾难风险、提升训练效率并增强模型泛化能力,特别适用于电商用户行为预测等具有海量特征的场景。在实际工程中,通常需要组合多种方法并考虑业务逻辑,如在电商推荐系统中,通过方差过滤去除低变异特征后,再使用互信息法捕捉用户行为与购买决策的非线性关系。合理的特征选择流程可使模型训练时间从4小时缩短至

weixin_32501329的博客 216

GNSS/RTK定位失效时的替代方案:视觉惯性里程计(VIO)

GNSS/RTK定位失效时的替代方案:视觉惯性里程计(VIO)​ ,人工智能,计算机视觉,大模型,AI,本文详细介绍了视觉惯性里程计(VIO)作为GNSS/RTK定位失效时的替代方案。阐述了VIO的定义、优势及与其他定位技术的区别,讲解了视觉传感器和IMU的工作原理及数据融合原理,分析了时间同步、标定等关键技术,介绍了VINS-Mono等常用框架、简单代码示例、应用场景,还探讨了VIO面临的挑战与未来发展趋势,展现了其在多个领域的重要性与应用潜力。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 16万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

python相关性分析特征过滤_特征选择-Filter过滤法后续(相关,互信息法)

3.1.2 相关性过滤方差挑选完毕之后,我们就要考虑下一个问题:相关性了。我们希望选出与标签相关且有意义的特征,因为这样的特征能够为我们提供大量信息。如果特征与标签无关,那只会白白浪费我们的计算内存,可能还会给模型带来噪音。在sklearn当中,我们有三种常用的方法来评判特征与标签之间的相关性:卡方,F检验,互信息3.1.2.1 卡方过滤卡方过滤是专门针对离散型标签(即分类问题)的相关性过滤。卡方...

weixin_39915605的博客 3524

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

别再一股脑儿用方差过滤了!用sklearn做特征选择,先搞懂F检验和互信息法怎么选

本文深入探讨了特征选择中的过滤法,重点对比了方差过滤、F检验和互信息法的适用场景与性能差异。通过实验数据和实战案例,揭示了如何根据数据特性(线性/非线性关系、正态分布等)科学选择特征选择方法,并提供了组合使用策略与工程优化技巧,帮助提升模型效果与计算效率。

weixin_30955617的博客 310

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

机器学习特征选择实战:方差法、卡方检验与互信息法

特征选择是机器学习预处理的关键环节,通过筛选最具预测力的特征子集,能显著提升模型效果与训练效率。其核心原理包括过滤法(如方差分析)、包装法和嵌入法,其中方差法通过剔除低方差特征实现初步筛选,卡方检验则基于统计显著性评估分类特征相关性,而互信息法能捕捉变量间的非线性依赖关系。这些技术在电商推荐、医疗诊断等领域有广泛应用,如某电商项目通过特征选择将模型训练时间缩短83%同时提升AUC指标。实战中常组合使用多种方法,先通过方差法快速过滤,再用互信息法深度挖掘特征关联,最终结合L1正则化等嵌入法优化特征子集。

weixin_29057695的博客 20

过滤法实战:从方差过滤到互信息法,构建高效特征选择流程

本文详细介绍了特征选择中的过滤法实战,从方差过滤到互信息法,帮助构建高效的特征选择流程。通过实际案例展示了方差过滤、卡方检验、F检验和互信息法的应用技巧,提升模型性能并减少计算成本。特别适合处理高维数据,优化算法效率。

weixin_30378623的博客 553

特征选择实战:用F检验、互信息法搞定Kaggle高维数据,附完整Python代码与避坑指南

本文详细介绍了在Kaggle竞赛和实际业务中如何通过F检验和互信息法进行高效的特征选择,帮助处理高维数据。从方差过滤到相关性筛选,再到统计检验方法的应用,提供了完整的Python代码实现和避坑指南,显著提升模型性能和计算效率。

weixin_28724319的博客 332

互信息特征选择python_特征选择:方差选择法、卡方检验、互信息法、递归特征消除、L1范数、树模型...

特征选择主要从两个方面入手:特征是否发散:特征发散说明特征的方差大,能够根据取值的差异化度量目标信息.特征与目标相关性:优先选取与目标高度相关性的.对于特征选择,有时候我们需要考虑分类变量和连续变量的不同.1.过滤法:按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数选择特征方差选择法:建议作为数值特征的筛选方法计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征from s...

weixin_39789690的博客 2170
上一篇: 【特征选择】方差阈值法
下一篇: 【特征选择】基于树模型的特征选择
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值