数据处理：离散型变量编码及效果分析

离散型变量编码方法详解与效果对比
最新推荐文章于 2025-09-08 14:51:43 发布
原创 最新推荐文章于 2025-09-08 14:51:43 发布 · 1.6k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了离散型变量的多种编码方法，如Label Encoder、OneHot Encoder、Sum Encoder等，并分析了它们的效果和适用场景。通过实验数据表明，CatBoost Encoder和Ordinal Encoder在交叉验证后表现出较好的效果，而LeaveOneOutEncoder在未使用交叉验证时表现不佳。对于无序离散特征，OneHot、Hashing和Target Encoding等方法效果良好，但OneHot要注意高基数特征。对于有序特征，Ordinal编码可能更合适。文章还提到了过拟合问题和防止过拟合的策略。

Datawhale

作者：小雨姑娘，Datawhale成员

离散型变量编码的Python库

首先我要介绍这个关于离散型编码的Python库，里面封装了十几种（包括文中的所有方法）对于离散型特征的编码方法，接口接近于Sklearn通用接口，非常实用。下面是这个库的链接：

http://contrib.scikit-learn.org/categorical-encoding/

1.Label Encoder / Ordered Encoder

这个编码方式非常容易理解，就是把所有的相同类别的特征编码成同一个值，例如女=0，男=1，狗狗=2，所以最后编码的特征值是在[0, n-1]之间的整数。

这个编码的缺点在于它随机的给特征排序了，会给这个特征增加不存在的顺序关系，也就是增加了噪声。假设预测的目标是购买力，那么真实Label的排序显然是 女 > 狗狗 > 男，与我们编码后特征的顺序不存在相关性。

2.OneHot Encoder / Dummy Encoder / OHE

大家熟知的OneHot方法就避免了对特征排序的缺点。对于一列有N种取值的特征，Onehot方法会创建出对应的N列特征，其中每列代表该样本是否为该特征的某一种取值。因为生成的每一列有值的都是1，所以这个方法起名为Onehot特征。Dummy特征也是一样，只是少了一列，因为第N列可以看做是前N-1列的线性组合。但是在离散特征的特征值过多的时候不宜使用，因为会导致生成特征的数量太多且过于稀疏。

3. Sum Encoder (Deviation Encoder, Effect Encoder)

最低0.47元/天 解锁文章
Datawhale
关注
Label Encoding编码进行数据离散变量处理
Mr数据杨
08-05 962
标签编码是一种处理类别型变量的简单方法，尤其适合处理具有少量类别并且类别之间具有自然顺序的情况。通过sklearn中的类，可以轻松地将非数值型数据转换为整数编码，并在需要时进行反向转换。然而，在实际应用中，选择合适的编码方式至关重要。如果类别之间没有明确的顺序或者类别数较多，标签编码可能并不是最佳选择，此时独热编码等其他方法可能更加合适。在数据处理过程中，需要根据具体场景慎重选择编码方式，以确保模型的表现和可靠性。
数据处理和分析之数据预处理：数据离散化(DataDiscretization)：自定义区间离散化方法
2401_87715305的博客
10-10 951
自定义区间离散化是一种灵活的方法，允许数据分析师根据领域知识或特定需求来定义数据的区间。这种方法特别适用于数据分布不均匀或有特定业务规则需要遵循的情况。下面，我们将通过一个示例来详细说明如何使用Python进行自定义区间离散化。假设我们有一组年龄数据，我们希望根据特定的年龄段进行离散化，例如：0-18岁为“青少年”，19-35岁为“青年”，36-60岁为“中年”，61岁以上为“老年”。我们将使用Python的pandas库来实现这一过程。接下来，我们定义年龄的区间和对应的标签。
怎么理解离散数据？
m0_51581537的博客
03-08 2971
例如，一个人的家庭成员数量就是一个离散数据。它只能取到整数值，如0、1、2、3等等，而不能取到非整数值，如1.5、2.6等。另一个例子是一个人投掷一枚硬币，记录正反面的次数。这些数据值只能取0或1，因为硬币只能落在正面或反面。离散数据是指数据值只能取有限的、可数的数值，而不能取到连续的数值。相对的，连续数据可以取到任意数值。离散数据是在一个固定的集合中取值，集合通常是整数集或有限的枚举集。
离散型变量的数据分析
cy_believ的博客
12-11 5243
import pandas as pd pd.set_option('display.max_column',30) import numpy as np import statsmodels.api as sm import matplotlib.pyplot as plt import seaborn as sns sns.set() from pylab import rcParams #...
(十)传统算法探索-梯度提升回归CatBoost案例实战
最新发布
ai12345678900008的博客
09-08 880
CatBoost是一种高效的梯度提升决策树算法，特别适合处理含类别特征的数据。其核心优势包括：自动处理类别变量（无需手动编码）、采用有序提升策略防止过拟合、支持GPU加速训练。算法通过迭代训练决策树拟合残差，逐步优化预测值。在回归任务中，CatBoost表现出色，尤其适用于金融风控、电商推荐等场景。数学原理基于梯度提升框架，通过负梯度计算残差、树模型拟合和预测值更新三个核心步骤实现。流程上，CatBoost先初始化预测值，然后循环计算残差、训练决策树并更新预测，最终输出多棵树的加权结果。该算法对非线性关系和
离散变量处理
howardact的博客
05-09 6036
one-hot encoding　　假如多个特征需要独热码编码，那么久按照上面的方法依次将每个特征的独热码拼接起来：　　　　{sex：{male， female，other}}　　　　{grade：{一年级， 二年级，三年级， 四年级}}　　此时对于输入为{sex：male； grade： 四年级}进行独热编码，可以首先将sex按照上面的进行编码得到{100}，然后按照grade进行编码为{0001
统计学与统计机器学习2--离散型数据的相关性
ANingL的博客
11-27 5798
文章目录一、数据预处理之独热编码0、引入1、概念2、使用独热编码处理离散数据的原因3、补充4、python实现 一、数据预处理之独热编码 0、引入 在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。可将分类值转化为数字表示，但是，即使转化为数字表示后，此类数据也不能直接用在我们的分类器中。因为，分类器往往默认数据是连续的，并且是有序的。但是，单纯的将分类值转换为数字得到的数据并不是有序的，而是随机分配的。 为解决上述问题，其中一种可能的解决办法是采用独热编码 1、概念 独热编码：ONE-HOT E
使用斯皮尔曼系数对离散值进行相关性分析
zhao_mou123的博客
07-17 3265
斯皮尔曼系数（Spearman correlation coefficient）是一种衡量两个变量之间的相关性的统计指标，它基于两个变量的等级（而不是原始的数值数据）进行计算。斯皮尔曼系数的取值范围在-1到1之间，其中-1表示完全的负相关，1表示完全的正相关，0表示无相关。与皮尔逊相关系数（Pearson correlation coefficient）不同，斯皮尔曼系数使用变量的等级（即排序）进行计算，而不是使用原始的数值数据。离散值可以通过将它们转换为等级来进行排名。
卡方检验——离散型特征相关性分析
Zsusan7的博客
05-25 3897
import pandas as pd #导入读入数据的包 from sklearn.feature_selection import SelectKBest #卡方检验->判断离散型特征是否相关 from sklearn.feature_selection import chi2 #读取数据 data = pd.read_csv('./2013年八城市融合数据.csv',encoding='gbk') x= data[['归属感有无（0：有 1：无）','户口性质（0：农业 1：非农业）',
离散型特征编码方式：one-hot与哑变量*
daydayup_668819的博客
08-27 1960
　　在机器学习问题中，我们通过训练数据集学习得到的其实就是一组模型的参数，然后通过学习得到的参数确定模型的表示，最后用这个模型再去进行我们后续的预测分类等工作。在模型训练过程中，我们会对训练数据集进行抽象、抽取大量特征，这些特征中有离散型特征也有连续型特征。若此时你使用的模型是简单模型（如LR），那么通常我们会对连续型特征进行离散化操作，然后再对离散的特征，进行...
数据处理和分析之数据预处理：数据离散化
2401_87715305的博客
10-10 775
在某些情况下，根据业务知识或数据特性，我们可能需要自定义离散化的区间。例如，对于年龄特征，我们可能更关心儿童、青少年、成人和老年人这几个阶段，因此可以自定义这些区间。等宽离散化：将数据范围分成等宽的区间。等频离散化：将数据分成包含相同数量观测值的区间。聚类离散化：使用聚类算法（如K-means）来确定离散化区间。自定义区间离散化：根据领域知识或数据特性手动定义区间。# 自定义区间离散化示例# 假设我们根据业务理解，将年龄分为青年、中年和老年三个阶段。
数据挖掘测试用的离散数据集，适合Apriori算法
06-03
离散数据集Unix_user_data This file contains 9 sets of sanitized user data drawn from the command histories of 8 UNIX computer users at Purdue over the course of up to 2 years (USER0 and USER1 were generated by the same person, working on different platforms and different projects). The data is drawn from tcsh(1) history files and has been parsed and sanitized to remove filenames, user names, directory structures, web addresses, host names, and other possibly identifying items. Command names, flags, and shell metacharacters have been preserved. Additionally, **SOF** and **EOF** tokens have been inserted at the start and end of shell sessions, respectively. Sessions are concatenated by date order and tokens appear in the order issued within the shell session, but no timestamps are included in this data. For example, the two sessions:
Python数据处理中关于离散变量的处理——因子化、One-Hot、哑变量
Fo*(Bi)的博客
10-08 8644
为了这份Python数据预处理教程，我熬了三天三夜！ Python机器学习-数据预处理技术（标准化处理、归一化、二值化、独热编码、标记编码） 在数据进行建模分析，无法直接把类别变量放入模型中去分析，因此，需要对类别变量进行处理。最常见的方法是对类别变量做因子化处理、哑变量编码或one-hot编码、目标编码。 还有将连续性变量变成离散型的。在机器学习问题中，我们通过训练数据集学习得到的其实就是一组模型的参数，然后通过学习得到的参数确定模型的表示，最后用这个模型再去进行我们后续的预测分类等工作。在模型训练过程
科研学习|研究方法——定性数据的定量编码方法
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
04-09 3210
数据可以根据不同的属性和特征进行分类。除了上述常见的数据分类方式，还可以根据数据的结构、性质和用途等进行更详细的分类，例如结构化数据、半结构化数据和非结构化数据等。今天我们要讨论的内容是--分类型数据：表示为不同的类别或标签，通常用于描述某个事物的属性或特征。例如性别、学历、职业等。即定性数据或者叫属性数据。
数据预处理 - 类型转换（离散型）
taon1607的博客
07-02 4591
当我们拿到一个数据分析任务时，我们并不能直接调用数据挖掘算法来解决该问题。在实际的任务中，我们所面对的数据质量都不是特别的好，如果我们对质量较差的数据集直接应用算法建模，那么得到结果也可想而知。所以在调用算法之前，必须对数据进行预处理工作。数据预处理是整个数据挖掘过程中最累的一部分工作，但也是非常重要的一部分工作，只要得到质量较高的数据集，后期的建模工作才会更有意义。数据预处理涉及的方面非常的多，如缺失值处理，异常值处理，重复值处理，数据类型转换，样本处理等等。 这一小节，我们先来了解下数据类型转换中的离
数据科学中的离散型数据的处理策略
AI公园
04-08 7993
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Dipanjan (DJ) Sarkar编译：ronghuaiyang导读数据科学中离散数据的处理方式。介...
《实用医学统计学与SAS应用》学习笔记 | 数值变量资料的统计描述
庐州月光的博客
02-08 1762
欢迎关注”生信修炼手册”!当拿到一组数据时，很难直接从一连串的数字中发现有用的信息，此时就需要借助统计描述的方法，对数据进行一个概括性的认识。统计描述的方法有两大类：1）统计图或者统计表，对于数值变量资料，常用频数分布表和频数分布的直方图2）统计指标，对于数值变量资料，常用的有描述集中趋势和离散程度的统计指标数值变量资料根据取值的类型，可以分为以下两种离散型数值变量资料：变量取值可以一一列举，不...
统计学离散型变量和连续型变量有什么区别？
热门推荐
Python开发工程师
09-06 8万+
离散变量是指其数值只能用自然数或整数单位计算的则为离散变量.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用计数方法取得. 反之,在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值.例如,生产零件的规格尺寸,人体测量的身高,体重,胸围等为连续变量,其数值只能用测量或计量的方法取得. 如果变量可以在某个区间内取任一...
python特征工程有序变量处理_特征工程之离散变量处理
weixin_39685024的博客
11-26 859
使用sklearn训练模型，只能输入数值型变量。因此需要对数据集中的非数值型离散变量进行处理，非数值型离散变量分为两类：有序型与无序型一、有序型离散变量处理什么叫有序型离散变量呢，比如说衣服尺码，M、L、XL；学历：小学、初中、高中、本科；这些都属于有序型变量。在上图数据表格中，size及classlabel则为有序型变量，自定义有序型字典表，进行相关映射即可：二、无序型离散变量处理衣服的颜色，风...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值