[Sklearn应用] Preprocessing data （三）编码分类特征 Encoding categorical features

最新推荐文章于 2025-02-05 16:37:04 发布
原创 最新推荐文章于 2025-02-05 16:37:04 发布 · 2.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#特征工程 #编码 #one hot #get_dummies

本文介绍了在机器学习预处理阶段如何使用Sklearn进行分类特征的编码，特别是One-Hot编码。强调了pandas的get_dummies()方法因其便捷性和功能强大而常用，以及sklearn.preprocessing.OneHotEncoder()的使用细节，包括可能遇到的类型转换问题。

此内容在sklearn官网地址： http://scikit-learn.org/stable/modules/preprocessing.html#
sklearn版本：0.18.2

one-hot-encode

  有时特征内容并不是数值，而是字符串类型。如果直接将字符串转成一个对应的数值，造成原本的特征具有大小关系。这是需要使用 one-hot-encode编码格式。

两种转化方式：

  • pandas.get_dummies()：常用方法，功能强大，操作简单；
  • sklearn.preprocessing.OneHotEncoder()：用法复杂且易报错，较少使用。
pandas.get_dummies(data, columns=["one","two",
最低0.47元/天 解锁文章
有序标称变量（Categorical Features）编码为数值变量（Continuous Features​​​​​​​）详解及实践
data+scenario+science+insight
05-06 674
有序标称变量（Categorical Features）编码为数值变量（Continuous Features）详解及实践 有一个带顺序的分类特征(例如，高、中、低) 使用pandas DataFrame的replace方法将字符串标签转换为数字等价表示。 replace的时候需要根据数据的等级设置自定义的字典。 dataframe.replace() pd.DataFrame() # Load library import pandas as pd # Create ...
【机器学习|学习笔记】类别特征（Categorical Features）处理方法，附代码。
最新发布
2401_89898861的博客
07-05 1575
【机器学习|学习笔记】类别特征（Categorical Features）处理方法，附代码。
Kaggle竞赛：Categorical Feature Encoding Challenge II
thorn_r的博客
10-04 481
这是Kaggle上的一个分类任务竞赛，给出的数据集没有明确的业务背景，但是只包含分类数据，包括：二分类数据，低分类数与高分类数的类别特征，低分类数与高分类数的顺序特征，以及（潜在包含）的周期特征。选手们需要根据600K条数据预测400K条测试集的二分类可能性。
Categorical Feature Encoding Challenge分类特征编码挑战-数据集
03-18
数据包含二进制特征（bin_*），名义特征（nom_*），序数特征（ord_*）以及（day一周中的）（可能是周期性的）month特征。字符串序数特征ord_{3-5}根据依词法排序string.ascii_letters。 sample_submission.csv train.csv test.csv
python encoding参数_Python类别变量处理（Categorical Encoding Methods）
weixin_40008339的博客
12-04 745
categorical feature(类别变量)是在数据分析中十分常见的特征变量，但是在进行建模时，python不能像R那样去直接处理非数值型的变量，因此我们往往需要对这些类别变量进行一系列转换，如哑变量或是独热编码。在查找后发现一个开源包以下是对category_encoders使用方法的介绍：2.1 category_encoders的下载在cmd使用pip或conda两种下载方式均可下载...
kaggle编码categorical feature总结
joleoy
06-15 569
kaggle竞赛本质上是套路的竞赛。这篇文章讲讲kaggle竞赛里categorical feature的常用处理套路，主要基于树模型（lightgbm，xgboost, etc.）。重点是target encoding 和 beta target encoding。 总结： label encoding 特征存在内在顺序 (ordinal feature) one hot enc...
从sklearn.preprocessing, sklearn.feature_selection学习特征工程之预处理
leiting_imecas的博客
03-03 894
基本特征工程基本框架如下图。 本文借助sklearn介绍其中的预处理部分 二 单特征预处理         标准化   Standardization   或者叫 mean removal and variance scaling（平均值移除、方差缩放)              说明1： 标准化其实就是干两件事：“transform the data to center” ，即
神经网络编码分类变量—categorical_embedder
Shiraka的博客
01-14 2721
前言 上一节我们学习了无监督降维方法PCA，在学习PCA的输入数据时我们了解一些数据处理的方法，其中提到了非结构化数据如何转化成结构化数据的方法序号编码，独热编码，二进制编码以及encoding编码。本节将讲述Categorical Embedder方法，如何通过神经网络编码分类变量将非结构化指标映射为浮点数张量，进而满足神经网络输入需求。 1.神经网络的数据预处理 ​ 机器学习模型离不开数据的预处理，预处理对于构建网络模型同样非常重要往往能决定训练结果，对于不同的数据集，预处理方法都会有或多或少的局限
【AI知识点】特征编码（Feature Encoding）
AI完全体
02-05 1221
特征编码 是将数据集中的分类特征（Categorical Features）转换为数值特征（Numerical Features）的过程。分类特征是机器学习模型（尤其是数值模型，如线性回归、支持向量机等）无法直接处理的数据类型，必须通过特征编码进行转换。
类别特征编码分类任务选择及效果影响
wwlsm_zql的博客
08-02 1726
类别型变量，也称作符号性变量（category feature），是一种分类任务中，不同的编码处理方式，可能会到导致不同的性能表现，本文对主要的处理方法进行介绍，并通过实验对比不同的性能表现，最后给出一般都使用指南...
数据预处理：标称型特征的编码和缺失值处理
Mr_Ohahah的博客
10-20 1536
标称型特征编码(Encoding categorical feature) 有些情况下，某些特征的取值不是连续的数值，而是离散的标称变量（categorical）。 比如一个人的特征描述可能是下面的或几种： features ['male', 'female'], ['from Europe', 'from US', 'from Asia'], ['use Firefox', 'use Chorme', 'use Safari', 'Use IE'] 这样的特征可以被有效的编码为整型特征值（interge
（十）特征编码-Feature Encoding
Miracle_520的博客
04-09 1170
类别特征（categorial Feature） - 男(0,1) - 女(1,0) - one-hot encoding 连续型特征 - 身高、温度 - A：直接用（归一化）：0,1归一化、N(0,1)高斯归一化 - B：离散化：one-hot encoding - 150-160 160-170 170-180 - 1 2 ...
自动特征工程——特征编码Categorical Encoding
未央的博客
05-13 1016
Backward Difference Coding反向差分编码 用于编码类别变量的向后差对比编码。 ce.BackwardDifferenceEncoder(verbose=0, cols=None, mapping=None, drop_invariant=False, return_df=True, handle_unknown='value',
Feature Engineering 特征工程 2. Categorical Encodings
Michael是个半路程序员
05-20 1976
文章目录1. Count Encoding 计数编码2. Target Encoding 目标编码3. CatBoost Encoding learn from https://www.kaggle.com/learn/feature-engineering 上一篇：Feature Engineering 特征工程 1. Baseline Model 在中级机器学习里介绍过了Label Encoding、One-Hot Encoding，下面将学习count encoding计数编码，target enc
4. Categorical Encoding with CatBoost Encoder
aigonna
09-10 1431
4. Categorical Encoding with CatBoost Encoder 记录下CatBoost Encoder 特征编码，来自于Categorical Encoding with CatBoost Encoder。 大部分机器学习算法要求数据是数字格式的，对于类别这种非数字格式，我们要将其转换为数字形式。方法非常多，Catboost使用的是target-based categorical 编码。 其计算公式为： TargetCount+priorFeatureCount+1(1) \fr
Kaggle教程 特征工程2 Categorical Encodings
weixin_40477535的博客
12-17 702
《Kaggle教程 特征工程》系列课程目录 Kaggle教程 特征工程1 Baseline-Model Kaggle教程 特征工程2 Categorical Encodings Kaggle教程 特征工程3 Feature Generation Kaggle教程 特征工程4 Feature Selection 1. 介绍 现在您已经构建了一个基线模型，您已经准备好使用一些聪明的方法将分类变量转换为...
【FE】处理Categorical Features
qq_43338695的博客
01-28 2129
之前的文章介绍了Numerical features，今天来介绍Categorical features。Categorical features 在我们的生活中也很常见，小到一年四季，一周七天，色彩颜色种类；大到用户id，CTR中的广告对象，这些都是属于Categorical features。 区别Numerical和Categorical的方法比较简单，那就是看数值的magnitude是否...
机器学习特征工程--特征预处理（下）
lv739880037的博客
01-21 1116
机器学习，特征工程，特征预处理， 离散特征处理，连续性特征处理，缺失值处理，多项式特征
【机器学习】特征工程中常见的特征编码
m0_61796189的博客
10-15 4580
本文主要学习机器学习中的特征编码，类别型编码方式：独热编码、序列编码、标签编码、频数编码、均值编码；数值型编码方式：取整、缩放、分箱。
分类型特征编码
03-19
### 分类特征编码方法 在机器学习中，为了使算法能够理解并处理分类特征（categorical features），需要将其转化为数值形式。常见的分类特征编码技术主要包括 **标签编码（Label Encoding）** 和 **独热编码（One-Hot Encoding）**。 #### 标签编码 (Label Encoding) 标签编码是一种将类别变量映射到整数的方法。这种方法适用于有序的分类数据（ordinal categorical data）。通过 `sklearn.preprocessing` 提供的 `OrdinalEncoder` 函数可以实现这一功能[^2]： ```python from sklearn.preprocessing import OrdinalEncoder data_2 = data.copy() encoder = OrdinalEncoder() # 对指定列进行标签编码 encoded_data = encoder.fit_transform(data_2.iloc[:, 1:]) print(encoded_data[:5]) # 查看前五行编码后的结果 ``` 上述代码展示了如何利用 `OrdinalEncoder()` 将分类特征转换为连续整数值。需要注意的是，该方法可能会引入一种虚假的顺序关系，因此仅推荐用于具有内在顺序的分类特征。 #### 独热编码 (One-Hot Encoding) 对于无序的分类数据（nominal categorical data），建议采用独热编码的方式。这种方式不会假设任何类别之间存在大小或优先级的关系。可以通过 `pandas.get_dummies()` 或者 `sklearn.preprocessing.OneHotEncoder` 来完成此操作[^1]: ```python from sklearn.preprocessing import OneHotEncoder onehot_encoder = OneHotEncoder(sparse=False) onehot_encoded_data = onehot_encoder.fit_transform(data_2[['category_column']]) print(onehot_encoded_data[:5]) ``` 这里使用了 `sparse=False` 参数以返回密集矩阵而非稀疏矩阵。如果原始数据集中某一分类特征有 N 种可能取值，则经过独热编码之后会产生 N 列新特征向量[^3]。 #### 方法选择依据 当决定选用哪种编码方案时，应考虑以下几个因素： - 如果分类特征本身具备自然排序属性（如低、中、高收入水平），则可以选择标签编码； - 若不存在这样的逻辑次序关系（比如颜色红蓝绿黄紫等），那么应该倾向于应用独热编码。 ### 总结 无论是标签编码还是独热编码，在实际项目开发过程中都需要仔细评估其适用场景以及潜在影响。合理的选择可以帮助提升模型性能的同时也便于后续解释分析工作开展。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值