[Sklearn应用] Preprocessing data （三）编码分类特征 Encoding categorical features

最新推荐文章于 2025-04-19 11:46:12 发布
最新推荐文章于 2025-04-19 11:46:12 发布
阅读量2.8k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 特征工程 编码 one hot get_dummies
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sscc_learning/article/details/73719019
版权
本文介绍了在机器学习预处理阶段如何使用Sklearn进行分类特征的编码，特别是One-Hot编码。强调了pandas的get_dummies()方法因其便捷性和功能强大而常用，以及sklearn.preprocessing.OneHotEncoder()的使用细节，包括可能遇到的类型转换问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

此内容在sklearn官网地址： http://scikit-learn.org/stable/modules/preprocessing.html#
sklearn版本：0.18.2

one-hot-encode

  有时特征内容并不是数值，而是字符串类型。如果直接将字符串转成一个对应的数值，造成原本的特征具有大小关系。这是需要使用 one-hot-encode编码格式。

两种转化方式：

  • pandas.get_dummies()：常用方法，功能强大，操作简单；
  • sklearn.preprocessing.OneHotEncoder()：用法复杂且易报错，较少使用。
pandas.get_dummies(data, columns=["one",
最低0.47元/天 解锁文章
有序标称变量（Categorical Features）编码为数值变量（Continuous Features​​​​​​​）详解及实践
data+scenario+science+insight
05-06 567
有序标称变量（Categorical Features）编码为数值变量（Continuous Features）详解及实践 有一个带顺序的分类特征(例如，高、中、低) 使用pandas DataFrame的replace方法将字符串标签转换为数字等价表示。 replace的时候需要根据数据的等级设置自定义的字典。 dataframe.replace() pd.DataFrame() # Load library import pandas as pd # Create ...
从sklearn.preprocessing, sklearn.feature_selection学习特征工程之预处理
leiting_imecas的博客
03-03 868
基本特征工程基本框架如下图。 本文借助sklearn介绍其中的预处理部分 二 单特征预处理         标准化   Standardization   或者叫 mean removal and variance scaling（平均值移除、方差缩放)              说明1： 标准化其实就是干两件事：“transform the data to center” ，即
Categorical Feature Encoding Challenge分类特征编码挑战-数据集
03-18
数据包含二进制特征（bin_*），名义特征（nom_*），序数特征（ord_*）以及（day一周中的）（可能是周期性的）month特征。字符串序数特征ord_{3-5}根据依词法排序string.ascii_letters。 sample_submission.csv train.csv test.csv
Kaggle竞赛：Categorical Feature Encoding Challenge II
thorn_r的博客
10-04 379
这是Kaggle上的一个分类任务竞赛，给出的数据集没有明确的业务背景，但是只包含分类数据，包括：二分类数据，低分类数与高分类数的类别特征，低分类数与高分类数的顺序特征，以及（潜在包含）的周期特征。选手们需要根据600K条数据预测400K条测试集的二分类可能性。
类别型特征的编码方法总结
最新发布
2501_91697515的博客
04-19 1853
我这里总结了以上类别编码方法的区别：总结来说，关于类别特征，有以下心得：(1）统计类编码常常不适用于小样本，因为统计意义不明显。(2)当训练集和测试集分布不一致时，统计类编码往往会有预测偏移问题，所以一般会考虑结合交叉验证。(3)编码后特征数变多的编码方法，不适用于高基类的特征，会带来稀疏性和训练成本。(4)没有完美的编码方法，但感觉标签编码、平均编码、WOE编码和模型编码比较常用。
python encoding参数_Python类别变量处理（Categorical Encoding Methods）
weixin_40008339的博客
12-04 688
categorical feature(类别变量)是在数据分析中十分常见的特征变量，但是在进行建模时，python不能像R那样去直接处理非数值型的变量，因此我们往往需要对这些类别变量进行一系列转换，如哑变量或是独热编码。在查找后发现一个开源包以下是对category_encoders使用方法的介绍：2.1 category_encoders的下载在cmd使用pip或conda两种下载方式均可下载...
kaggle编码categorical feature总结
joleoy
06-15 547
kaggle竞赛本质上是套路的竞赛。这篇文章讲讲kaggle竞赛里categorical feature的常用处理套路，主要基于树模型（lightgbm，xgboost, etc.）。重点是target encoding 和 beta target encoding。 总结： label encoding 特征存在内在顺序 (ordinal feature) one hot enc...
神经网络编码分类变量—categorical_embedder
Shiraka的博客
01-14 2615
前言 上一节我们学习了无监督降维方法PCA，在学习PCA的输入数据时我们了解一些数据处理的方法，其中提到了非结构化数据如何转化成结构化数据的方法序号编码，独热编码，二进制编码以及encoding编码。本节将讲述Categorical Embedder方法，如何通过神经网络编码分类变量将非结构化指标映射为浮点数张量，进而满足神经网络输入需求。 1.神经网络的数据预处理 ​ 机器学习模型离不开数据的预处理，预处理对于构建网络模型同样非常重要往往能决定训练结果，对于不同的数据集，预处理方法都会有或多或少的局限
【漫话机器学习系列】021.类别特征（Categorical Feature）
IT古董
12-25 1418
类别特征（Categorical Feature）是指取值为有限的、不连续的类别或标签的数据特征。在机器学习和数据分析中，类别特征经常用于描述对象的分类属性，例如颜色、性别、职业等。类别特征在实际问题中非常常见，是数据分析和机器学习建模的重要组成部分。 通过选择合适的处理方法，模型可以更准确地理解类别特征的含义并提高预测性能。
【AI知识点】特征编码（Feature Encoding）
AI完全体
02-05 1070
特征编码 是将数据集中的分类特征（Categorical Features）转换为数值特征（Numerical Features）的过程。分类特征是机器学习模型（尤其是数值模型，如线性回归、支持向量机等）无法直接处理的数据类型，必须通过特征编码进行转换。
数据预处理：标称型特征的编码和缺失值处理
Mr_Ohahah的博客
10-20 1503
标称型特征编码(Encoding categorical feature) 有些情况下，某些特征的取值不是连续的数值，而是离散的标称变量（categorical）。 比如一个人的特征描述可能是下面的或几种： features ['male', 'female'], ['from Europe', 'from US', 'from Asia'], ['use Firefox', 'use Chorme', 'use Safari', 'Use IE'] 这样的特征可以被有效的编码为整型特征值（interge
使用sklearn之LabelEncoder将Label标准化的方法
09-20
今天小编就为大家分享一篇使用sklearn之LabelEncoder将Label标准化的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
（十）特征编码-Feature Encoding
Miracle_520的博客
04-09 1118
类别特征（categorial Feature） - 男(0,1) - 女(1,0) - one-hot encoding 连续型特征 - 身高、温度 - A：直接用（归一化）：0,1归一化、N(0,1)高斯归一化 - B：离散化：one-hot encoding - 150-160 160-170 170-180 - 1 2 ...
自动特征工程——特征编码Categorical Encoding
未央的博客
05-13 934
Backward Difference Coding反向差分编码 用于编码类别变量的向后差对比编码。 ce.BackwardDifferenceEncoder(verbose=0, cols=None, mapping=None, drop_invariant=False, return_df=True, handle_unknown='value',
Feature Engineering 特征工程 2. Categorical Encodings
Michael是个半路程序员
05-20 1855
文章目录1. Count Encoding 计数编码2. Target Encoding 目标编码3. CatBoost Encoding learn from https://www.kaggle.com/learn/feature-engineering 上一篇：Feature Engineering 特征工程 1. Baseline Model 在中级机器学习里介绍过了Label Encoding、One-Hot Encoding，下面将学习count encoding计数编码，target enc
4. Categorical Encoding with CatBoost Encoder
aigonna
09-10 1362
4. Categorical Encoding with CatBoost Encoder 记录下CatBoost Encoder 特征编码，来自于Categorical Encoding with CatBoost Encoder。 大部分机器学习算法要求数据是数字格式的，对于类别这种非数字格式，我们要将其转换为数字形式。方法非常多，Catboost使用的是target-based categorical 编码。 其计算公式为： TargetCount+priorFeatureCount+1(1) \fr
Kaggle教程 特征工程2 Categorical Encodings
weixin_40477535的博客
12-17 678
《Kaggle教程 特征工程》系列课程目录 Kaggle教程 特征工程1 Baseline-Model Kaggle教程 特征工程2 Categorical Encodings Kaggle教程 特征工程3 Feature Generation Kaggle教程 特征工程4 Feature Selection 1. 介绍 现在您已经构建了一个基线模型，您已经准备好使用一些聪明的方法将分类变量转换为...
单片机的冷启动、热启动、复位
创世纪GENESIS
11-15 4598
特点： 复位可以是软件复位（由程序执行的复位指令）或硬件复位（通过外部信号或者特定的硬件电路触发）。与冷启动和热启动不同，复位更专注于将系统恢复到一个可控制的状态，而不需要进行完全的系统关闭和重新启动。总的来说，冷启动是从完全关闭的状态重新启动，热启动是在系统保持某些状态的情况下重新启动，而复位是在运行中将系统恢复到初始状态的过程。特点： 与冷启动不同，热启动中系统的某些部分可能保持原有状态，而不需要完全重新初始化。定义： 复位是指在系统运行过程中，由于某种原因，需要将系统恢复到初始状态的过程。
编码方式_机器学习中常用的编码方式
weixin_42138716的博客
01-14 1320
在建模的时候，有时各个feature不是数值型或者连续数值分类，这种情况下需要对这些特征值进行编码，sklearn中提供了多种编码方法。1.LabelEncoderLabelEncoder可以对不连续的数值编码，例如：fromsklearn importpreprocessingencode = preprocessing.LabelEncoder()test = [1,2,3...
特征工程哑编码
04-16
### 特征工程中哑编码的实现方法 在机器学习和数据预处理领域，哑编码（One-Hot Encoding）是一种常见的技术，用于将分类变量转换为可以提供给机器学习算法的形式。通过哑编码，每个类别都会被转化为一个新的二元列（0 或 1），表示该类别的存在与否。 #### 使用 `pandas` 实现哑编码 Python 的 `pandas` 库提供了简单易用的方法来进行哑编码操作。以下是具体的代码示例： ```python import pandas as pd # 创建一个简单的 DataFrame 示例 data = {'Gender': ['Male', 'Female', 'Female', 'Male'], 'City': ['New York', 'Los Angeles', 'New York', 'Chicago']} df = pd.DataFrame(data) # 使用 get_dummies 函数进行 One-Hot 编码 one_hot_encoded_df = pd.get_dummies(df, columns=['Gender', 'City']) print(one_hot_encoded_df) ``` 上述代码片段展示了如何利用 `pd.get_dummies()` 对分类变量进行哑编码[^5]。此函数会自动创建新的二元列，并删除原有的分类列。 #### 使用 `scikit-learn` 实现哑编码 除了 `pandas`，还可以使用 `scikit-learn` 提供的功能完成相同的操作。下面是基于 `ColumnTransformer` 和 `OneHotEncoder` 的实现方式： ```python from sklearn.preprocessing import OneHotEncoder from sklearn.compose import ColumnTransformer import numpy as np import pandas as pd # 构造样本数据 data = {'Gender': ['Male', 'Female', 'Female', 'Male'], 'City': ['New York', 'Los Angeles', 'New York', 'Chicago']} df = pd.DataFrame(data) # 定义要应用 One-Hot Encoder 的列名 categorical_features = ['Gender', 'City'] # 初始化 ColumnTransformer 并指定 OneHotEncoder transformer = ColumnTransformer( transformers=[ ('onehot', OneHotEncoder(sparse=False), categorical_features) ], remainder='passthrough' # 不影响其他未指定的列 ) # 转换数据并查看结果 encoded_data = transformer.fit_transform(df) encoded_df = pd.DataFrame(encoded_data, columns=transformer.named_transformers_['onehot'].get_feature_names_out(categorical_features)) print(encoded_df) ``` 这段代码演示了如何借助 `scikit-learn` 的工具链执行更灵活的哑编码过程[^6]。特别适合于复杂场景下的流水线构建需求。 #### 哑编码的优点与局限性 优点包括但不限于能够有效减少模型对顺序假设的影响；而缺点则可能涉及维度爆炸问题，在某些情况下增加计算成本较高[^7]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值