特征工程之特征选择之过滤法（卡方检验

最新推荐文章于 2025-02-24 15:15:00 发布
最新推荐文章于 2025-02-24 15:15:00 发布
阅读量2.6k 收藏 6
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 西瓜书
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kylin_learn/article/details/82658641
博客围绕特征工程中的特征选择展开，重点介绍过滤法里的卡方检验。特征选择是特征工程重要环节，过滤法能有效筛选特征，卡方检验在其中发挥关键作用，可助力更好地进行特征筛选。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

特征筛选实践-------过滤法
井底小蛙的博客
02-09 3429
前言 在机器学习数据集中，一个特征如果可以通过另一个或多个特征间接得到，则这个特征的信息可能是冗余的，特征之间的信息冗余不但会使数据集更加臃肿，降低模型效率，也会违背特征独立性的模型基本假设，影响模型的性能；为了让数据集中特征都相互独立，我们需要对数据集中的每个特征分别与其他特征进行相关性检验，剔除冗余特征。相关性检验是对特征之间是否相关以及相关的程度如何所进行的统计检验， 根据数据类型的不同，可以将相关性检验分为三种方法： 分类数据VS分类数据：卡方检验 数值数据VS数值数据：相关系数 分.
python卡方检验筛选特征原理_Python数据分析：特征选择（过滤法）
weixin_32282271的博客
01-29 2560
之前介绍了特征工程的第一部分数据预处理，详见：https://www.jianshu.com/p/e3e562242f61，本文介绍特征工程的第二部分：特征选择。特征选择有n多种方法，本文先介绍过滤法。image.png一、先补充一下数据预处理环节没有提到的点“特征从哪里来？”一般情况下，数据分析人员会根据业务流程搭建一套完整的指标体系，这些指标就是可能会用到的特征：1)根据要解决的问题 从指标体...
特征选择---过滤法（特征相关性分析方差、卡方、互信息）
lizz2276的博客
06-24 5268
https://blog.youkuaiyun.com/dili8870/article/details/101506788 一、绘图判断 一般对于强相关性的两个变量，画图就能定性判断是否相关 散点图 seaborn.scatterplot # 散点图矩阵初判多变量间关系 data = pd.DataFrame(np.random.randn(200,4)*100, columns = ['A','B','C','D']) pd.plotting.scatter_matri
sklearn中的特征工程（过滤法、嵌入法和包装法）
炼丹上岸
05-15 862
目录​编辑特征工程的第一步：理解业务Filter过滤法​编辑方差过滤​编辑- 相关性过滤- 卡方过滤- F检验- 互信息法​编辑嵌入法（Embedded）包装法（Wrapper） 如果特征比较少且容易理解，我们可以自行判断特征的取舍，如前面的泰坦尼克号数据集。但是，在真正的数据应用领域，比如金融，医疗，电商，我们的数据不可能像泰坦尼克号数据的特征这样少，这样明显。那如果遇见极端情况，我们无法依赖对业务的理解来选择特征，该怎么办呢？我们有四种方法可以用来选择特征：过滤法，嵌入法，包装法，和降维算法 过滤方法
【特征选择】过滤法
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
02-24 1156
过滤法（Filter Method）是特征选择中一种常见且高效的方法。它通过特征的统计指标（如方差、相关系数、卡方检验、信息增益等）对每个特征进行评估和排序，然后选择排名靠前的特征。与包裹法和嵌入法不同，过滤法不依赖于模型训练，而是通过评估每个特征与目标变量之间的关系来选择特征。 过滤法的优势在于计算速度快，且通常不易过拟合，因此特别适合高维数据的预处理
特征选择(过滤法、包装法、嵌入法)
Black eyes的博客
04-29 1万+
文章目录Filter过滤式方法方差选择法相关系数法卡方检验互信息法和最大信息系数Mutual information and maximal information coefficient (MIC)Wrapper封装式方法递归特征消除法Recursive feature elimination (RFE)Embedded过滤式方法基于惩罚项的特征选择法L1L_{1}L1​正则化LassoL2正则...
特征工程之特征选择(2)----卡方过滤
weixin_43776305的博客
05-29 3390
文章目录问题的引入卡方检验卡方检验概述对负数特征的处理示例1导入相关模块数据处理过滤前随机森林分类器表现卡方过滤1---保留300个特征参数k的学习曲线对方法1中k值设定的思考示例2概述获得p值k值计算总结 问题的引入 方差过滤掉的是哪些特征方差不高于阈值的特征，留下了的是方差比较大的特征，这只能反应该特征变化比较多，并不能反映于标签之间的直接相关性。 我们希望选出的是与标签相关且有意义的特征，因为这样的特征能为我们提供大量的信息。如果特征与标签相关性很差，只会白白浪费我们的计算内存与时间。并且可能给我们的
特征工程之特征选择(3)----F检验和互信息法
weixin_43776305的博客
05-30 3756
文章目录前言F检验法F检验概述示例互信息法互信息法概述示例 前言 前面已经讲了方差过滤和卡方过滤，如果这两种方法过滤后的数据还是不能令人满意，就可考虑这篇文章要将的F检验法，和互信息法。 F检验法 F检验概述 F检验又称为ANOVA，方差齐性检验，是用来捕捉标签与每个特征之间线性关系的过滤方法。F检验即可做分类也可以做回归 分类：feature_selection.f_classif(标签离散) 回归：feature_selection.f_regression(标签连续) 与卡方检验一样，这两个方法都要
python机器学习之特征选择（过滤法、嵌入法、包装法案例详解）
sjjsaaaa的博客
11-30 6687
特征选择 特征工程： 1、特征提取 ：从文字，图像等数据中提取信息作为特征 2、特征创造 ：把现有特征进行组合，或仙湖计算，得到新的特征 3、特征选择 ：从所有的特征种，选择出有意义的，对模型有帮助的特征，避免所有特征都导图模型取训练的情况。在特征选择之前，跟数据提供者开会。 下面案例所用到的数据获取地址——>这里下载 1.过滤法 首先导入数据 import pandas as pd data = pd.read_csv("../数据/digit recognizor.csv") data
特征选择—过滤法(Filter)、嵌入法(Embedded)和包装法(Wrapper)
热门推荐
weixin_42846157的博客
06-14 1万+
一、过滤法（Filter） 目的：在维持算法表现的前提下，帮助算法们降低计算成本 特点：独立操作，不与后续分类（或者回归）模型相关 过程： 目标对象：需要遍历特征或升维的算法。最近邻算法KNN，支持向量机SVM，决策树，神经网络，回归算法等遍历特征或升维运算，本身的运算量很大，需要的时间很长，因此特征选择很重要。随机森林不需要遍历特征，每次选的特征就很随机，并非用到所有的特征，所以特征选择作用不大。 思考：过滤法对随机森林无效，却对树模型有效？ 解释：传统决策树需遍历所有特征，计算不纯度后分枝.
特征选择 过滤法 relief算法
04-20
输入训练集，返回该训练集中的各特征的平均权重矩阵 matlab实现 适用于有特征选择需要的人群 对分类结果影响越大的特征其权重越大 注：D为M*N的矩阵，N为标签列，若训练集中无此列需要注意添加一列0，不然最后一维的特征将被省略。
特征选择与提取-过滤法
lihe的博客
12-29 3215
特征抽取是数据挖掘任务最为重要的一个环节，一般而言，它对最终结果的影响要高过数据挖掘算法本身。 不幸的是，关于怎样选取好的特征，还没有严格、快捷的规则可循，其实这也是数据挖掘科学更像是一门艺术的所在。创建好的规则离不开直觉，还需要专业领域知识和数据挖 掘经验，光有这些还不够，还得不停地尝试、摸索，在试错中前进，有时多少还要靠点运气。通常特征数量很多，但我们只想选用其中一小部分。有如下几个原因。1、降低复杂度随着特征数量的增加，很多数据挖掘算法需要更多的时间和资源。减少特征数量，是提高算法运行速度，减少资源使
特征选择介绍及4种基于过滤器的方法来选择相关特征
deephub
11-22 6121
特征选择是面试中一个非常受欢迎的问题。 这篇文章能带你了解这方面相关的知识。 为什么要使用特征选择 你熟悉鸢尾花的数据集吗?（sklearn自带小型数据集）即使是最简单的算法也能得到如此美妙的结果，这难道不令人惊叹吗? 很抱歉让你失望了，但这是不现实的。大多数情况下，特征的数量§比样本的数量(N)要多得多(p>>N)——这也被称为维数诅咒。但是，为什么这是个问题呢 高维数据可能导致以下情况： 训练时间长 过度拟合 即使不是p>>N，有一长串机器学习算法可以假设自变量。采用特征.
python方差特征选择_特征选择-Filter过滤法（方差）
weixin_39699070的博客
12-07 2544
3.1 Filter过滤法过滤方法通常用作预处理步骤，特征选择完全独立于任何机器学习算法。它是根据各种统计检验中的分数以及相关性的各项指标来选择特征。3.1.1 方差过滤3.1.1.1 VarianceThreshold这是通过特征本身的方差来筛选特征的类。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没...
特征选择方法概括—过滤法、嵌入法、包装法
lihe的博客
12-30 4823
一、过滤法（Filter） 特点：过滤方法通常用作预处理步骤，特征选择完全独立于任何机器学习算法 过程： 目标对象：需要遍历特征或升维的算法。最近邻算法KNN，支持向量机SVM，决策树，神经网络，回归算法等遍历特征或升维运算，本身的运算量很大，需要的时间很长，因此特征选择很重要。随机森林不需要遍历特征，每次选的特征就很随机，并非用到所有的特征，所以特征选择作用不大。 思考：过滤法对随机森林无效，却对树模型有效？ 解释：传统决策树需遍历所有特征，计算不纯度后分枝，而随机森林却是随机选择特征进行计算和分枝，.
数据挖掘-特征选择方法：方差过滤，相关性过滤
Sun123234的博客
02-02 3158
数据挖掘-特征选择方法：方差过滤，相关性过滤
特征选择——过滤式选择
csdlvnl的博客
01-04 296
过滤式方法——先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。
机器学习实战-特征选择之过滤法
互联网应用架构
05-30 1954
目录 数据加载及展示 低方差特征过滤 单变量特征过滤 上一篇：机器学习实战-特征选择 上一篇文章里面，我们主要介绍了特征选择的三种方法，这篇文章小编就来介绍过滤法。 考虑到很多同学刚开始学，这里不会介绍算法公式，相比与高校或者实验室里面，很多同学应该都懂，但是没接触过的同学，又看不懂，所以小编直接不讲，这里只讲怎么用，以便同学可以更快上手，如果有兴趣研究算法内容的同学，自行百度即可，都是公式的。 备注：算法中的数据，我会采用真实现网的中的部分数据来实现 本文章节 1、数据加载及展.
特征工程之特征选择
最新发布
05-06
<think>好的，我现在需要回答用户关于特征工程中特征选择方法和技巧的问题。用户已经提供了三个引用内容，我需要结合这些内容来构建一个结构清晰的中文回答，并生成相关问题。首先，我要确保自己正确理解特征选择的基本概念及其在机器学习中的重要性。 根据引用[1]，特征工程分为特征提取、特征选择和特征衍生，而特征选择是其中的关键步骤，能够决定模型的上限。引用[3]提到特征选择的优点包括提高模型性能、加快训练速度、增强解释性等。接下来，我需要整理用户提到的三种方法：过滤法、包裹法和嵌入法，并参考引用中的内容详细说明。 过滤法（Filter Methods）是通过统计指标评估特征，独立于模型。常用的指标有卡方检验、相关系数、互信息等。引用[1]和[3]都提到这种方法计算效率高，但可能忽略特征与模型的交互。 包裹法（Wrapper Methods）通过模型表现选择特征，比如递归特征消除（RFE）。引用[3]指出这种方法计算成本高，但效果较好。需要解释其优缺点，并举例说明。 嵌入法（Embedded Methods）结合模型训练过程，如LASSO和决策树的特征重要性。引用[2]提到嵌入法在训练过程中自动选择特征，效率较高。需要详细说明不同模型中的嵌入方法。 此外，用户可能需要一些实用技巧，如领域知识、自动化工具、稳定性评估和交叉验证。这些内容在引用中没有直接提到，但根据我的知识，这些都是特征选择中常用的技巧，需要补充。 最后，生成的相关问题要围绕特征选择的评估、实际应用、自动化工具以及与模型优化的关系，确保问题有针对性，帮助用户深入理解。 现在需要检查是否符合系统级指令：使用正确的中文，数学公式用$...$，独立公式用$$...$$，语法正确。例如，在嵌入法中提到的LASSO回归的数学表达式需要使用行内公式格式。同时，确保引用标识正确添加，如引用[^1]、[^2]、[^3]。 可能需要注意的细节：在解释LASSO回归时，正确书写其目标函数，例如：$$\min_{w} \left( \frac{1}{2n} \|y - Xw\|^2 + \alpha \|w\|_1 \right)$$，这里需要使用$$...$$格式，并且单独成段。同时，互信息的公式可能需要以行内形式呈现，如$I(X;Y)$。 最后，确保生成的问题与特征选择相关，并且覆盖不同方面，如方法比较、实际应用、工具使用等。</think>### 特征工程中的特征选择方法与技巧 特征选择是机器学习特征工程的核心环节，其目标是**从原始特征中筛选出对模型预测最有价值的子集**，以提高模型性能、降低计算成本并增强可解释性[^3]。以下是三类主要方法及实用技巧： --- #### 一、三大核心方法 1. **过滤法（Filter Methods）** 通过统计指标独立评估特征与目标的相关性，**与模型无关**。 - **常用指标**： - 皮尔逊相关系数：衡量线性相关性，例如$r = \frac{\text{cov}(X,Y)}{\sigma_X \sigma_Y}$ - 卡方检验：评估分类特征与目标的独立性 - 互信息：$I(X;Y)$，捕捉非线性关系 - **优点**：计算快，适合高维数据预处理[^1] - **缺点**：忽略特征间交互及与模型的关联 2. **包裹法（Wrapper Methods）** 通过模型表现迭代筛选特征子集，**依赖具体模型**。 - **典型方法**： - 递归特征消除（RFE）：逐步剔除对模型贡献最小的特征 - 前向/后向选择：贪心算法逐步增减特征 - **优点**：考虑特征组合效应，通常效果更优[^3] - **缺点**：计算成本高，可能过拟合 3. **嵌入法（Embedded Methods）** 在模型训练中自动完成特征选择，**与算法深度融合**。 - **典型实现**： - LASSO回归：通过$L_1$正则化稀疏化权重 $$\min_{w} \left( \frac{1}{2n} \|y - Xw\|^2 + \alpha \|w\|_1 \right)$$ - 决策树：基于特征分裂的重要性评分（如基尼指数） - 随机森林：通过特征置换评估重要性[^2] - **优点**：平衡效率与效果，适合大规模数据 --- #### 二、实用技巧 1. **领域知识优先** 在医疗、金融等领域，结合业务理解预筛特征（如剔除与病理无关的指标）[^1]。 2. **自动化工具辅助** 使用`scikit-learn`的`SelectKBest`（过滤法）、`RFE`（包裹法）或`LassoCV`（嵌入法）简化流程。 3. **稳定性评估** 通过多次采样验证特征选择结果的稳定性，避免随机性干扰。 4. **交叉验证结合** 将特征选择嵌入交叉验证循环，防止数据泄露（如先拆分训练/测试集，再在训练集内筛选特征）。 --- #### 三、方法对比场景 | 方法 | 适用场景 | 计算成本 | 可解释性 | |----------|------------------------------|----------|----------| | 过滤法 | 高维数据初筛、快速原型 | 低 | 高 | | 包裹法 | 中小规模数据、追求最优性能 | 高 | 中 | | 嵌入法 | 大规模数据、与模型深度结合 | 中 | 中/低 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值