机器学习中常见的离散变量的编码方式 onehotencoder(独热编码)

最新推荐文章于 2025-06-22 07:13:36 发布
最新推荐文章于 2025-06-22 07:13:36 发布
阅读量2.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习算法实现 文章标签： 机器学习 编码 one hot 独热编码 离散变量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liuzonghao88/article/details/86323487
本文详细介绍了一种常见的机器学习预处理技术——独热编码的具体应用。通过使用sklearn库中的OneHotEncoder，对数据集中的分类特征进行编码转换，将其转换为数值型特征，以便于机器学习算法处理。文章提供了完整的编码过程，包括数据读取、编码操作、结果验证及数据集更新。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • onehotencoder(独热编码)
# dataset为数据集  product_tags为需要编码的特征列(假设为第一列)
product_tags = dataset.iloc[:, :1]
from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder(categories='auto').fit(product_tags)
res = enc.transform(product_tags).toarray()
res.shape # 查看编码后有多少列
enc.get_feature_names() # 查看每一列对应的特征
# 将编码得到的这些列拼接到原来的数据集后面 然后删除原来列就大功告成了
new_data = pd.concat([dataset, pd.DataFrame(res)],axis=1) # 拼接
new_data.head(10)
new_data.drop(['product_tags_1'],axis=1,inplace=True) # 删除原来列
new_data.columns  # 查看拼接后所有的列名
new_data  # 大功告成
离散型特征变量编码方式
weixin_45834072的博客
11-10 967
离散型特征变量编码方式1.什么是One_Hot?1.1具体例子演示One_Hot 在机器学习问题中，我们通过训练数据集学习得到的其实就是一组模型的参数，然后通过学习得到的参数确定模型的表示，最后用这个模型再去进行我们后续的预测分类等工作。在模型训练过程中，我们会对训练数据集进行抽象、抽取大量特征，这些特征中有离散型特征也有连续型特征，我们会对连续型特征进行离散化操作，然后再对离散的特征，进行one...
踩坑系列-字符编码OneHotEncoder
weixin_44700798的博客
12-02 2730
OneHotEncoder 今天想起来，之前应用OneHotEncoder存在的问题，这里和大家分享一下。 OneHotEncoder又被称为独热编码，什么意思呢，就是 1、每一列特征需要构建的状态寄存器的位数等于该列特征独立取值的个数； 2、使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。 到底在说什么呢？请看下面的代码演示就明白了(以下代码在jupyter notebook里执行) import numpy as np import pandas
机器学习数据预处理：独热编码OneHotEncoder
最新发布
天涯雨的博客
06-22 751
机器学习数据预处理：独热编码OneHotEncoder
离散变量的重编码
G090909的博客
07-11 1368
在建模的过程中离散型的字符变量是不能直接用于建模，需要对这些变量进行重编码。重编码的方法有多种，字符型的值转换为整数型的值、哑变量处理（0-1变量）、One-Hot热编码（类似于哑变量）。 1.字符转数值的方法 处理前的数据集： for feature in income.columns: if income[feature].dtype == ‘object’: income[feature...
11种离散型变量编码方式及效果对比及类别型特征
weixin_45271076的博客
01-04 1241
11种离散变量编码效果对比 一、背景 当我们预处理数据时，碰到类别型变量，需要将它们编码转换后才能输入进模型当中。按照不同的划分标准，类别型变量有： ● 按照类别是否有序：有序和无序的类别特征。 ● 按照类别数量：高基类和低基类的类别特征。 针对不同的类别特征和任务，可选的类别特征编码方法也不一样。本文主要介绍常见且好用的类别编码方法，希望对大家有所帮助。 二、方法 标签编码（Label Encoder） 标签编码就是简单地赋予不同类别，不同的数字标签。属于硬编码，优点是简单直白，网上很多说适用于有序类
机器学习之离散数据编码：独热编码（OneHotEncoder）和 标签编码（LabelEncoder）
zhw864680355的博客
10-18 2608
1、独热编码（OneHotEncoder） 有一些特征并不是以连续值的形式给出。例如以下三个特征属性： 人的性别 [“male”, “female”]， 来自的国家 [“from Europe”, “from US”, “from Asia”]， 使用的浏览器[“uses Firefox”, “uses Chrome”, “uses Safari”, “uses Internet Expl...
【机器学习】数据预处理中常见的独热编码（One-hot Encoding）与哑编码（Dummy Encoding）区别
xiaohutong1991的专栏
05-21 3102
参考博客：离散型特征编码方式：one-hot与哑变量* 一、导语 在机器学习问题中，我们通过训练数据集学习得到的其实就是一组模型的参数，然后通过学习得到的参数确定模型的表示，最后用这个模型再去进行我们后续的预测分类等工作。在模型训练过程中，我们会对训练数据集进行抽象、抽取大量特征，这些特征中有离散型特征也有连续型特征。若此时你使用的模型是简单模型（如LR），那么通常我们会对连续型特征进行离散化操作，然后再对离散的特征，进行one-hot编码或哑变量编码。这样的操作通常会使得我们模型具有较强...
机器学习数据中类别变量（categorical variable）的处理方法
01-20
对于独热编码，可以使用pandas的`get_dummies`函数或Scikit-Learn的`OneHotEncoder`： ```python # 使用pandas one_hot_X_train = pd.get_dummies(drop_X_train, columns=object_cols) one_hot_X_valid = pd....
OneHotEncoder独热编码和 LabelEncoder标签编码——机器学习
平平淡淡，戒急用忍，一生学闭嘴。
11-25 358
学习sklearn和kagggle时遇到的问题，什么是独热编码？为什么要用独热编码？什么情况下可以用独热编码？以及和其他几种编码方式的区别。 首先了解机器学习中的特征类别：连续型特征和离散型特征 拿到获取的原始特征，必须对每一特征分别进行归一化，比如，特征A的取值范围是[-1000,1000]，特征B的取值范围是[-1,1].如果使用logistic回归，w1x1+w2x2，因为x1的取值太大了，...
数据处理与特征工程：One-Hot Encoder独热编码、Label Encoder标签编码、Binary Encoder二进制编码
陈宸的博客
05-27 3531
目录 一OneHotEncoder独热编码 1.1 OneHotEncoder独热编码原理 2.1. 为什么要独热编码OneHotEncoder？ 2.3 独热编码优缺点 2.4什么情况下(不)用独热编码？ 2.5 什么情况下(不)需要归一化？ 二 Label Encoder标签编码 三、Binary Encoder二进制编码 首先了解机器学习中...
机器学习中的编码：Index编码、OneHot编码和Multiple编码及其对比
WaltSmith的博客
11-18 6195
文章目录一、 Index编码二、 OneHot编码独热编码优缺点什么情况下(不)用独热编码？什么情况下(不)需要归一化？三、 Multiple编码如何使用Multiple编码呢？四、 编码比较参考文献 一、 Index编码 用来对离散的类型特征进行编码，如，不连续的数值、文本，将离散的特征转换成连续的数值型变量。基于索引的编码可以起到数据归一化的作用，如，id为1和10000，当id作为LR的特征...
MATLAB——离散数据和离散函数的可视化
08-22
本代码主要利用MATLAB工具实现MATLAB——离散数据和离散函数的可视化，简单明了，易于理解
数据挖掘OneHotEncoder独热编码和LabelEncoder标签编码
这里记录着我一点一滴的进步
04-19 8113
    学习sklearn和kagggle时遇到的问题，什么是独热编码？为什么要用独热编码？什么情况下可以用独热编码？以及和其他几种编码方式的区别。    首先了解机器学习中的特征类别：连续型特征和离散型特征。     拿到获取的原始特征，必须对每一特征分别进行归一化，比如，特征A的取值范围是[-1000,1000]，特征B的取值范围是[-1,1].如果使用logistic回归，w1*x1+w2*...
[转]离散数据编码方式总结()
May the Force be with you
11-05 1124
在机器学习的特征选择的时候，往往有一些离散的特征不好计算，此时需要对这些特征进行编码，但是编码方式有很多，不同的包也会有不同的编码方式。（明白的区别吗？）通过在Titanic预测的学习， 在这里对不同包的编码方式进行一个小总结。至少以后使用的时候，不那么的乱用了。离散特征的取值之间没有大小的意义，比如color：[red,blue], 性别的男女等，那么就使用OneHot编码离散特征的取值有大小的意义，比如size:[X,XL,XXL],身高的高，中，低等，那么就使用。
机器学习中常见的离散变量的编码方式 labelencoding(标签编码)
liuzh的博客
01-11 8000
labelencoding(标签编码) # dataset为数据集 product_tags为需要编码的特征列(假设为第一列) product_tags = dataset.iloc[:, :1] from sklearn.preprocessing import LabelEncoder le = LabelEncoder() #实例化 le = le.fit(product_tags) ...
机器学习中的数据清洗与特征处理综述
baidu_18891025的博客
09-12 1162
1、采样： 分类问题：选取正例，负例，比例确定。 回归问题：评测样本的大致分布，根据目标制定采样规则；采样的方法包括随机采样，固定比例采样等方法 2、数据清洗 结合业务情况进行数据的过滤 去除crawler抓取，spam，作弊等数据 3、特征分类 根据不同的分类方法，可以将特征分为(1)Low level特征和High level特征。(2)稳定特征与动态特征。(3)二值特征、连续特征、枚举特征。 Low level特征是较低级别的特征，主要是原始特征，不需要或者需要非常少的人工处理和干预，例如文
建模时二值化处理oneHotEncoder与get_dummies要点
wenniewennie的博客
08-26 467
二值化处理几个注意点： 若用oneHotEncoder，注意该函数无法识别NA类型的，因为NA不是整数型，所以需要在二值化前对NA进行缺失值填补； 如果用get_dummies函数， a = pd.DataFrame(['YES','NO','YES','NO','NO','YES'],columns =['FEE']) b = pd.get_dummies(a) 返回值b，是uint8格式，无法用于大多数建模的输入。需要转换。 b.info() <class ‘pandas.cor
用sklearn.preprocessing做数据预处理（四）——OneHotEncoder
weixin_44530236的博客
03-02 6261
机器学习时，对于离散的特征基本就是按照one-hot（独热）编码，该离散特征有多少取值，就用多少维来表示该特征。 from sklearn import preprocessing enc = preprocessing.OneHotEncoder() enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]]) # fit来学习编码 enc....
一文了解类别型特征的编码方法
AI 算法笔记
11-04 2144
来源：Unsplash，作者：an Rizzari2019 年第 78 篇文章，总第 102 篇文章目录：问题描述数据准备标签编码自定义二分类one-hot 编码总结问题描述一般特征可以分为两类特征，连续型和离散型特征，而离散型特征既有是数值型的，也有是类别型特征，也可以说是字符型，比如说性别，是男还是女；职业，可以是程序员，产品经理，教师等等。本文将主要介绍一些处理这种类别型特征的方法，分别来自...
机器学习独热编码
03-13
### 关于独热编码的概念 独热编码是一种常见的数据预处理技术，在机器学习和数据分析领域被广泛采用。其核心目的是将离散型特征变量转换为连续型特征变量，从而使得这些特征能够更好地适应各种机器学习算法的需求[^1]。 通过独热编码，可以有效地避免数值大小关系对模型的影响。例如，对于类别型数据（如颜色、性别），如果直接将其映射到整数上，则可能引入不必要的顺序或权重意义。而独热编码则会将每个类别转化为独立的二进制向量表示，消除了这种潜在的误导性影响[^3]。 --- ### 独热编码的应用场景 独热编码通常适用于以下几种情况： 1. **分类属性的数据** 当输入数据包含一些具有有限类别的字段时，比如“国家”、“职业”等，可以通过独热编码来扩展成多个布尔类型的列，每列表示该样本是否属于某一特定类别[^2]。 2. **无序多值特性** 如果某些特征本身并没有天然的数量级含义或者逻辑上的先后次序，此时就应该考虑使用 one-hot 编码而不是简单的标签化(Label Encoding)。 3. **增强模型表现力** 对于基于树结构的学习器来说，虽然它们可以直接接受原始形式下的字符串类型输入并自行划分区间；但对于线性回归之类的参数估计方法而言，经过 onehot 处理后的稀疏矩阵往往能带来更好的拟合效果[^4]。 需要注意的是，并不是所有的离散特征都需要做 OneHot 转换——只有当存在上述需求时才应该执行此操作。另外还要注意维度爆炸问题以及内存消耗等问题。 --- ### 实现方式 以下是两种主流编程语言中如何实现独热编码的具体例子： #### Python 中的实现 Python 提供了多种库支持快速完成这项工作，其中最常用的就是 `pandas` 和 `sklearn.preprocessing.OneHotEncoder`. ```python import pandas as pd from sklearn.preprocessing import OneHotEncoder # 示例 DataFrame data = {'color': ['red', 'blue', 'green']} df = pd.DataFrame(data) # 方法一：Pandas get_dummies() pd.get_dummies(df['color']) # 方法二：Sklearn 的 OneHotEncoder encoder = OneHotEncoder(sparse=False) encoded_data = encoder.fit_transform(df[['color']]) print(encoded_data) ``` 这段代码展示了利用 Pandas 函数 `get_dummies()` 或者 Scikit-Learn 类 `OneHotEncoder` 来生成新的特征集合的过程。 #### R 语言中的实现 同样地，在统计分析软件包 R 上也有相应的解决方案可供选用: ```r library(dplyr) library(caret) # 创建测试数据框 colors <- c('red','blue','yellow') df_r <- data.frame(color=colors) # 使用 dummies 包创建虚拟变量 dummy_df <- dummyVars(~ ., data=df_r)$transform(df_r) head(dummy_df) ``` 这里采用了两个不同的途径分别介绍了基础版 (dplyr) 及高级版本 (caret)，两者都能达到相同的目的即把原来的因子转变成为若干个0/1标志位组成的宽表布局。 --- ### 总结 综上所述，独热编码是一项非常重要的技能点，它帮助我们解决了许多实际建模过程中遇到的问题。然而也要记住并非任何时候都适合运用这一手段，具体情况具体对待才是王道！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值