类别型特征处理：sklearn中的one-hot和PCA

最新推荐文章于 2025-09-17 23:38:31 发布
原创 最新推荐文章于 2025-09-17 23:38:31 发布 · 4.5k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sklearn #pca #one-hot #机器学习

本文介绍了在机器学习中如何处理类别型特征，通过sklearn库进行了one-hot编码和PCA降维操作，详细阐述了每个步骤，包括创建类别特征、应用one-hot转换器和PCA转换器，以及将转换应用于测试数据。

目录

问题背景

新建一个类别型的特征列

“训练”一个one-hot转换器，并对数据进行转换

“训练”一个PCA转换器

将这个one-hot和PCA应用到测试数据中

问题背景

      在机器学习的分类、聚类等任务中，我们经常会遇到一个或多个类别型的数据特征，如衣服颜色、商品类别等，这些特征的取值之前并无相对大小关系，难以直接作为机器学习模型的输入，因此我们先要对这类特征做转换才能作为模型输入。

对于类别型特征，需要需要做2件事：

（1）进行one-hot转换

（2）进行PCA降维

 

新建一个类别型的特征列

import numpy as np
from sklearn.preprocessing import OneHotEncoder

col = [99,55,99,11,66,44]
col = np.array(col).reshape(len(col), -1)
print(col)
[[99]
 [55]
 [99]
 [11]
 [66]
 [44]]
最低0.47元/天 解锁文章
对python sklearn one-hot编码详解
12-25
one-hot编码的作用 使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点 ...enc = preprocessing.OneHotEncoder() enc.fit([[0, 0, 3], [1, 1, 0], [0, 2
数据清洗，pca，one-hot编码，auc
m0_46519036的博客
06-18 1367
鸢尾花有4个特征，不容易画图，我们可以使用PCA降维 因为有 150个数据，每个数据有4个特征，所以是一个（150，4）的矩阵，使用PCA降维，XTX可以得到一个4行4列的矩阵，然后可以得到它的特征值和特征向量，得到特征值λ1，λ2，λ3，λ4和特征向量μ1，μ2，μ3，μ4.将λ从大到小排列，可以找到哪个特征向量μ的方向对结果影响最大，选择前两个μ建立坐标系。将样本投影到这个坐标系中 考察降维后的样本方差： 选择好特征该如何分类呢 有的时候用直线没有很好的分类，这时候需要把特征升维，比如3个特...
基于sklearn 的one hot encoding
bitcarmanlee的博客
05-21 3万+
1.one hot编码的由来在实际的应用场景中，有非常多的特征不是连续的数值变量，而是某一些离散的类别。比如在广告系统中，用户的性别，用户的地址，用户的兴趣爱好等等一系列特征，都是一些分类值。这些特征一般都无法直接应用在需要进行数值型计算的算法里，比如CTR预估中最常用的LR。那针对这种情况最简单的处理方式是将不同的类别映射为一个整数，比如男性是0号特征，女性为1号特征。这种方式最大的优点就是简单粗
sklearn onehot
luoganttcc的博客
06-24 571
from sklearn.preprocessing import OneHotEncoder, StandardScaler ohe_period = OneHotEncoder(handle_unknown='ignore') X_train_period = ohe_period.fit_transform(X[['label1']]) yy = ohe_period.transform(...
scikit-learn机器学习--特征处理
刘宏宇的博客
09-12 2459
参考并推荐：菜菜的sklearn课堂：http://edu.cda.cn/course/982 目录 1.归一化：preprocessing.MinMaxScaler 1.1实战部分： 1.2实战部分：numpy实现归一化 2.标准化 preprocessing.StandardScaler 2.1实战部分 3.汇总 4.缺失值处理 4.1实战部分 4.2实战部分：panda...
sklearn处理分类型特征：编码与哑变量
qq_43656233的博客
01-17 2701
我们刚才已经用OrdinalEncoder把分类变量Sex和Embarked都转换成数字对应的类别了。在舱门Embarked这一 列中，我们使用[0,1,2]代表了三个不同的舱门，然而这种转换是正确的吗？ 我们来思考三种不同性质的分类数据： 1） 舱门（S，C，Q） 三种取值S，C，Q是相互独立的，彼此之间完全没有联系，表达的是S≠C≠Q的概念。这是名义变量。 2） 学历（小学，初中，高中） 三种...
NLP - 词的表示：Bow,One-hot, TF-IDF、word2vec
AI工程化、开源分享、文档翻译、代码笔记
01-02 1153
文章目录词的表示潜在语义分析方法（BOW）Countervector 计数TF-IDFBOW 和 TF-IDF 方法的问题词的独热（One-hot ）表示独热问题的改进解决维度过大的问题解决无语义的问题 -- 词的分布式表示Word Embedding 词嵌入使用场景Word embedding的训练方法1、无监督或弱监督的预训练2、端对端（end to end）的有监督训练。参考资料 参考转载自： https://www.jianshu.com/p/cede3ae146bb 词的表示 潜在语义分析方法
one-hot 编码、multi-hot 编码 和 Embedding
Rhett_Butler0922的博客
05-15 1229
Multi-hot 编码是 one-hot 编码的扩展，用于表示一个样本属于多个类别的场景。向量长度仍为类别总数NNN，但可以有多个位置为 1，表示样本同时属于多个类别。数学表示对于一个样本属于类别集合Si1i2ikSi1​i2​ik​vv0v1vN−1vj1ifj∈Selse0vv0​v1​vN−1​vj​1ifj∈Selse0例子Embedding（嵌入）
机器学习中的编码问题和标准化：类别编码、one-hot编码缺陷及改进
最新发布
Cachel Wood的博客
09-17 174
高基数类别特征编码替代方案摘要 针对高基数类别特征（如用户ID、商品SKU等）One-Hot编码带来的维度灾难问题，主流解决方案包括： 频率编码：用类别出现频率代替原始值，简单高效但信息有限 目标编码：使用类别对应目标变量均值，需注意数据泄露问题 嵌入编码：通过神经网络学习低维稠密向量，适合深度学习场景 分组编码：合并低频类别后再编码，结合业务知识降低维度 哈希编码：利用哈希函数固定输出维度，适合流式数据 选择依据应考虑模型类型、数据量、可解释性等维度。对于有序分类变量，可使用OrdinalEncoder保
l利用sklearn进行One-Hot转换
qq_23589775的博客
11-17 4183
3.One-Hot Encode with scikit-learn： 在这个例子中，我们假设你有一个输出序列如下3个标签： Cold，warm，hot 10个时间序列的示例顺序可以是： Cold，cold，warm，cold，hot，hot，warm，cold，warm，hot 这将首先需要一个整数编码，如1，2，3，然后是整数到one hot编码具有3个值的二进制向量，例如[1,0,0]。 这...
Sklearn之One-hot编码（编码方式、作用、适用场景）
热门推荐
小白白的博客
08-05 4万+
（作者：陈玓玏） 一、为什么要用做One-hot编码？ 在建模过程中，我们通常会碰到各种类型的属性，如果是标称型属性，也就是不具备序列性、不能比较大小的属性，通常我们不能用简单的数值来粗暴替换。因为属性的数值大小会影响到权重矩阵的计算，不存在大小关系的属性，其权重也不应该发生相应的变化，那么我们就需要用到One-hot编码（也有人称独热编码）这种特殊的编码方式了。 二、One-hot编码...
sklearn 独热编码onehot、标签编码（代码示例）
qq_43015237的博客
01-03 3648
标签编码LabelEncoder 若原数据有n个不同的元素，则将原数据中的元素按一定规律(如字典序)映射为[0, n)内的一个整数。例如，数据有三个不同元素，‘autumn’–0，‘spring’–1，‘summer’–2 独热编码OneHotEncoder 若原数据有n个不同的元素，则将原数据的元素映射为n维向量，向量中只有一位1，其余全0，这个“1”在向量中的位置索引就是标签编码的值。例如， ‘autumn’-–0–100， ‘spring’–—1–010， ‘summer’–2–001 当然，..
python sklearn preprocessing OneHotEncoder 独热编码 One-Hot
small__roc的博客
02-15 7639
文章目录一、One-Hot 简介二、小案例2.1 加载库2.2 随机生成数据集 --> dataframe2.3 通过 LabelEncoder 将分类变量打上数值标签2.4 进行one-hot编码2.5 转成 dataframe 形式2.6 columns 重命名三、自定义 OneHot 函数 一、One-Hot 简介    One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。   One-Hot编码是分类变
【sklearn】数据预处理之独热编码（含两种实现方式+代码理解）
wzk4869的博客
09-14 1万+
【sklearn】数据预处理之独热编码（含两种实现方式+代码理解）
数据预处理----数据无量纲化(归一化和标准化)
weixin_43776305的博客
05-21 4572
文章目录概述数据挖掘的五大步骤skleran中的数据处理和特征工程数据预处理Preprocessing&Impute数据无量纲化数据归一化---MinMaxScaler示例 概述 数据挖掘的五大步骤 数据获取 数据预处理 数据预处理是从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程 可能面对的问题有：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。也可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太大或太小 数
机器学习sklearn工具——sklearn中的数据预处理和特征工程
weixin_39736118的博客
01-23 765
机器学习sklearn工具——预处理
sklearn onehot编码
goodxin_ie的博客
11-15 1376
sklearn onehot编码解读https://www.cnblogs.com/Jerry-home/p/9824085.html 根据训练数据统计特征每一维度的状态数（n_values_属性） 根据每一维度的状态数计算该特征所需位数，然后将各维度特征进行onehot编码之后拼接起来（feature_indices_则是各维特征在onehot编码中的起始索引） from sklearn import preprocessing feature = [['红','重','长'],['黑','轻','
sklearn实现one-hot编码处理符号型数据
分享实践与思考
07-25 5398
目录 1、data.csv数据 2.使用one-hot编码进行转化 1、data.csv数据 2.使用one-hot编码进行转化 from sklearn.feature_extraction import DictVectorizer from sklearn import preprocessing import csv """ 函数说明：将符号特征转换为one-hot向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值