我眼中的分类变量水平压缩（一）

最新推荐文章于 2023-08-03 02:21:50 发布
原创 最新推荐文章于 2023-08-03 02:21:50 发布 · 1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分类变量 #哑变量 #多重共线性 #水平压缩 #过度拟和

本文探讨了在建模中处理分类变量时遇到的水平过多问题，提出分类变量水平压缩的重要性，以避免多重共线性和过度拟合。主要介绍了两种方法：哑变量编码法和基于目标变量的WOE转换法。强调了变量压缩的原则，即保留变异性，避免过度拟合。并通过实际案例解释了如何进行变量水平的合并，以优化模型构建。

                                                分类变量的水平一定要压缩

       模型中分类变量一般需要处理成0-1形式的哑变量。

       如果变量水平本身较多，那么哑变量的水平个数也会相应变多，这种情况下去构建模型肯定不行，需要将分类变量的水平进行压缩处理。

                                                分类变量水平压缩的方法

       一般情况，分类变量水平压缩有下面两种方法，这一篇先说说我对哑变量编码法的理解：

  • 哑变量编码法；

  • 基于目标变量的WOE转换法；

最低0.47元/天 解锁文章
计算数据框中指定分类变量或因子变量的水平个数
HackWhisper的博客
08-26 404
在R语言中，数据框（dataframe）是一种非常常用的数据结构，用于存储和处理表格形式的数据。分类变量或因子变量是数据框中的一种特殊类型，它表示具有离散取值的变量，例如性别（男、女）、地区（东、西、南、北）等。table()函数用于计算因子变量的频数。本文将介绍如何使用R语言计算数据框中指定分类变量或因子变量的水平个数。这两种方法都可以用来计算数据框中指定分类变量或因子变量的水平个数。希望本文能够帮助你理解如何计算数据框中指定分类变量或因子变量的水平个数。计算数据框中指定分类变量或因子变量的水平个数。
【NLP】seq2seq 由浅入深——基于Rnn和Cnn的处理方式
让算法融入生活，改变生活！
10-01 1861
seq2seq seq2seq最初是google2014年在《Sequence to Sequence Learning with Neural Networks》提出的，简单的说就是一种序列到另一种序列的转换。在自然语言处理( Natural Language Processing, NLP)应用领域主要有翻译，摘要，作诗等等。 自从seq2seq提出后，关于seq2seq的变体也有很多，但大多都是基于循环神经网络（Recurrent Neural Network，RNN）进行的处理，随后逐渐引入基于at
分类变量的压缩
T_steve7的博客
01-13 1756
分类变量的压缩
我眼中的变量水平压缩（二）
许卉的博客
06-24 459
WOE是什么 WOE是一种证据权重，全称为weight of evidence，是变量压缩时我会采用的第二种方法。目前WOE变换也是信用评分模型中标准的处理流程、必不可少的步骤之一。 ...
对数据压缩的对象及压缩原因的理解与分类的理解
08-23 754
1，数据压缩的一个基本问题是“我们要压缩什么”，对此你是怎样理解的？ 答：对于数据压缩的问题：“我们要压缩什么”，我的理解是：对在计算机等多媒体中进行传输的视频、音频、文字、图像等所有信息的存储大小进行压缩。 2，数据压缩的另一个基本问题是“为什么进行压缩”，对此你又是怎样理解的？ 答：对于数据压缩的问题：“为什么进行压缩”，我的理解是：网络的快速发展及大数据时代的到来，給我们的生...
机器学习常见问题 - 类别变量处理
huangqihao723的博客
06-12 3445
类别变量类型： Nominal： 红，黄，蓝 Ordinal，高，中，低 连续变量：1.1，2.1，1.3，1.4 类别变量问题的一些挑战 类别数量很多，但是每个类别的样本不多，例如“城市” 一些机器学习模型，例如回归或者SVM 需要输入是数值型的，类别需要先转化成数值才能应用这些算法 对于机器来说，不一定能轻松理解一些人理解的信息，例如 北京，上海，杭州三个城市，人可以知道上海到杭州更近点，但是对于模型来说，仅仅代表三个不同的level，所以需要增加一些额外的信息。 几种处理方法：..
Android面试题整理（源自鸿洋大神公众号【201803】的一篇BAT面试题推送）
唯爱丶卡卡西的博客
04-13 2010
三月，想必各位程序员GG 此刻想要的，莫过于一篇面试宝典。鄙人不才，也从未系统的刷过面试题，以鸿洋大哥一篇面试题为引，略加整理，希望能帮到各位不知道看什么小伙伴。（大部分知识都是有答案的）. 原文链接: [https://mp.weixin.qq.com/s/p3l9wr4DX976Lr62-dYe8w(只有题)] PS：其实在推送2天后就已经全部 总结出来了，只是新的优快云 编辑器排版不会...
一篇很好的大牛面试经验
weixin_33724659的博客
09-08 1781
引言： 工作刚刚落实，论文也刚完成，终于有时间对自己的求职历程及求职经验进行总结了。应同学要求，最近准备书写系列文章“我的求职历程及经验分享”，请大家关注，谢谢！ （一）：求职历程总结 2007年1月10日，随着在三方协议上郑重签下自己的名字，我的求职历程终于划上了一个圆满的句号。在这三个月漫长而艰辛的过程中，我付出了很多，经历了很多，也收获了很多。这一路走来，要感谢的人太多太多，尤其要感谢...
科学技术只是暂时的、短暂的存在，还需要人类在不断的进化和完善中才能最终统一、协调、治理。
AI天才研究院
08-03 1074
2022年，人类的历史迎来了翻天覆地的变革。人类的科技水平飞速增长、产业革命、地球上的资源枯竭，让地球遭遇重大环境变化，人类面临的环境危机越发严峻。同时，也有许多技术专家已经站出来向我们展示科技带来的美好未来。但我们今天所看到的，则是一个异常的世界。这个世界背后隐隐有个人的故事，这些故事汇聚成了一个个的神话、梦想、诅咒和惊悚。它们总是在讲述一个一个神奇的未来、惊心动魄的暴风雨、充满纷争的未来、可怕的失控……这些让人目眩神迷、触目惊心的景象。我们从中感受到了对未来的恐惧、畏惧、害怕、恐慌，甚至恐吓。
缩尾处理 stata
热门推荐
weixin_50381726的博客
02-16 2万+
要求：对连续变量上下1%的分位数进行了缩尾处理。
Python笔记（二）——global函数
zxq6661的博客
12-13 2741
Python笔记（二）——global函数 a = 0 #在函数外先定义 def func(): global a #在函数内部声明为全局变量 for _ in range(0, 6): a += 1 print(a) func()
数据科学 案例11 变量压缩（代码）
irober的博客
03-06 979
数据科学 案例11 变量压缩13 变量压缩13.1 贷款应用一、主成分分析1、数据导入2、查看相关系数矩阵，判定做变量降维的必要性（非必须）3、做主成分之前，进行中心标准化4、使用sklearn的主成分分析，用于判断保留主成分的数量13.2 经济发展一、主成分分析1、数据导入2、查看相关系数矩阵，判定做变量降维的必要性（非必须）3、做主成分之前，进行中心标准化4、使用sklearn的主成分分析，用...
数据科学 12 连续变量关系探索与变量压缩（概念）
irober的博客
03-04 1779
数据科学 12 连续变量关系探索与变量压缩（概念）12.1 多元统计基础与变量约减的思路7.1.1 XX1、图片2、x7.2 XXX7.2.1 XX1、图片2、规则3、 LaTeX公式 主要内容： 多元统计基础与变量约减的思路 主成分分析 因子分析 稀疏主成分分析 变量聚类 12.1 多元统计基础与变量约减的思路 7.1.1 XX 1、图片 a 2、x 7.2 XXX 7.2.1 X...
不要再对类别变量进行独热编码了
lizz2276的博客
09-12 515
导读 还有很多更好的选择。 独热编码，也称为dummy变量，是一种将分类变量转换为若干二进制列的方法，其中1表示属于该类别的行。 很明显，从机器学习的角度来看，它不是分类变量编码的好选择。最明显的是它增加了大量的维数，这是常识，通常低维数是更好的。例如，如果我们要用一列表示美国的一个州(例如加利福尼亚、纽约)，那么独热编码方案将会导致50个额外的维度。 它不仅给数据集增加了大量的维数，而且确实没有多少信息 —— 一大堆零中偶尔点缀着几个1。这导致了一个异常稀疏的现象，这使得它很难..
主成分分析实现数据描述与变量压缩(附 Python code 与源数据)
阅读从未停止，输出从未开始
08-23 938
前言 在之前的文章中，我们已经详细介绍了主成分分析的原理，并用 Python 实现主成分分析。 原理+代码｜Python基于主成分分析的客户信贷评级实战（附代码与源数据） ​ 在那篇文章中我们指出的主成分分析常见的三个应用场景中，其中有一个是**「数据描述」**，以描述产品情况为例，比如著名的波士顿矩阵，子公司业务发展状况，区域投资潜力等，需要将多变量压缩到少数几个主成分进行描述，压缩到两个主成分是最理想的，这样便可在一张图内表现出来。 但这类分析一般做主成分分析是不充分的，能够做到因子分析更好。但因子分.
浅谈共线性的产生以及解决方法(中篇——今生)
李未名的博客
10-15 6837
浅谈共线性的产生以及解决方法(下篇——今生) 上篇我们讲到共线性概念以及共线性问题存在时对模型的影响。那么如何对样本数据中存在的共线性问题进行诊断呢？ 3 多重共线性的诊断方法 3.1 相关系数法 对于一个样本数据集，我们要了解解释变量，相关系数是一个重要的参数。假设样本中有x1x_{1}x1​,x2x_2x2​,x3x_3x3​,…,xpx_pxp​这些变量，两个变量间的相关系数： R=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2∑i=1n(yi−yˉ)2R=\frac{\sum_{i
numpy中相关系数
geter_CS的博客
04-18 1万+
np.cov(x)是用于计算协方差矩阵的： 得到的矩阵第i行第j列表示第i个变量和第j个变量的协方差。 np.corrcoef(x)是求相关系数矩阵： 得到的矩阵第i行第j列表示第i个变量和第j个变量的相关系数。   import numpy as np a=[1,2,3] b=[2,4,5] c=[2,7,8] d=[9,8,3] x=np.vstack((a,b,c,d)) p...
维度压缩
qq_38325803的博客
03-10 1111
当特征选择完成之后，就可以直接训练模型了，但是可能由于特征矩阵过大导致计算量大，训练时间长的问题；因此，降低特征矩阵维度，也是必不可少的，主成分分析就是最常用的降维方法，在减少数据集的维度的...
处理数据中分类变量的三种方法（附代码实现）
Qlz的博客
02-06 9797
本文是将kaggle Courses中 Categorical Variables | Kaggle进行了翻译并且加入自己的理解，如有地方不清楚，可以查阅原文 文章目录介绍三种方法1）删除分类变量2）Ordinal Encoding （序数编码）3）One-Hot Encoding代码实现Drop columns with categorical dataOrdinal encodingOne-hot encoding 介绍 一个分类变量只能取到有限变量的值 考虑一项调查，询问您吃早餐的频率并提供四个.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值