测试集出现新类别时OnehotEncoder报错解决

原创 已于 2022-03-30 17:43:25 修改 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2022-03-22 20:18:00 首次发布
本文探讨了在机器学习中遇到的测试集中新类别占比过大导致的编码问题，提供了合并训练集进行编码和使用OneHotEncoder处理未知值的两种解决方案。
部署运行你感兴趣的模型镜像

今天在学习机器学习时候发现了error

一直提示我无法transform

首先我们要明确测试集的新类别的占比应该是比较小的，如果占比很大可能模型的效果会比较差也可能是在分割测试集和训练集的时候没有做好

解决这个问题有两种方法

1.第一种是将测试集和训练集合并这样来进行独热编码这样可以保证所有的类别都出现在里面

如果还不行的话

这一种直接

data=train+test

2.可以试试第二种

OneHotEncoder(handle_unknown = "ignore")

忽略未知的值这样也能够正常运行

您可能感兴趣的与本文相关的镜像

Seed-Coder-8B-Base

Seed-Coder-8B-Base

文本生成
Seed-Coder

Seed-Coder是一个功能强大、透明、参数高效的 8B 级开源代码模型系列，包括基础变体、指导变体和推理变体，由字节团队开源

‘OneHotEncoder‘ object has no attribute ‘get_feature_names‘解决方案
AlbertKai3的博客
01-13 4608
解决sklearn中调用get_feature_names()函数出错的问题
TypeError: ‘NoneType‘ object is not callable--python报错解决办法
宝藏女孩的成长日记
05-12 3852
报错为 翻译过来为：TypeError:“NoneType”对象不可调用 代码： def bibao_one(): Jay = "哎哟不错哦" def bibao_two(): print(Jay) return bibao_two() #执行闭包 execute = bibao_one() execute() 我们在执行调用函数的时候，把括号去掉就是了，如 ...
Python实现类别变量的独热编码（One-hot Encoding）
Gefangenes的博客
06-02 3482
本文介绍基于下与两种方法，实现机器学习中最优的编码方法——的方法。目录在数据处理与分析领域，对数值型与字符型加以是不可或缺的预处理操作；这里介绍两种不同的方法。
[scikit-learn] 特征二值化编码函数的一些坑
han_sen cloud network
11-21 8277
1. 前言 2. 问题起源 2.1. 对付数值型类别变量 2.2. 对付字符串型类别变量 2.3. 无用的尝试 3. 另一种解决方案 4. 参考资料 1. 前言 这几天埋头撰写『优雅高效地数据挖掘——基于Python的sklearn_pandas库』 一文，其中有一部分涉及如何批量并行地进行特征二值化，在此过程中发现了 scikit-
在预测单个数据实例时，功能与OneHotEncoder不匹配
hzp666的博客
11-26 291
提问于 十二月 14, 2018浏览 1339 次0onehotencoder如何用于单个值预测错误Msg- ValueError：模型的要素数必须与输入匹配 . 模型n_features为1261，输入n_features为16我正在训练文本数据的随机森林分类器 . 我正在为每个文本数据实例计算16个功能 . 由于所有这16个变量都被分类，我使用。
scikit-learn中的OneHotEncoder用法小结
热门推荐
qq_35436571的博客
07-18 2万+
OneHotEncoder 可用于将分类特征的每个元素转化为一个可直接计算的数值，也即特征值数字化，常用于特征工程中的数据预处理。 其本质是One-Hot编码在scikit-learn中的实现。 One-Hot One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候只有一位有效。 One-Hot编码是分类变量作为二进制向量...
解决sklearn中使用OrdinalEncoder编码测试集的类别特征中的未知类别时会报错的问题
12-21
由于`transform()`没有处理未知类别的选项，当测试集中出现新类别时，就会引发错误。 要解决这个问题，我们可以深入`OrdinalEncoder`的源代码，尤其是它的父类`_BaseEncoder`。`_BaseEncoder`中有一个`_transform()...
from sklearn.preprocessing import OneHotEncoder # 假设我们有一个类别变量 X encoder = OneHotEncoder(sparse=False) # sparse=False 返回一个密集矩阵 X_encoded = encoder.fit_transform(X) # 将类别变量转换为独热编码 这个和上面的pandas的有什么区别
07-15
2. 如何处理OneHotEncoder中的未知类别（新出现的类别）？ 3. 在机器学习中，为什么有时候需要避免使用独热编码？ 4. 高基数分类变量有哪些替代独热编码的处理方法？ 5. 如何获取OneHotEncoder编码后的特征名称...
如何使用 sklearn 的 OneHotEncoder 对 'year' 和 'region' 进行独热编码？
最新发布
12-02
`sklearn.preprocessing.OneHotEncoder` 对 `'year'` 和 `'region'` 进行独热编码，这种方式比 `pandas.get_dummies` 更适合在机器学习流水线（Pipeline）中使用，尤其是在训练集和测试集分离的情况下，能更好地处理...
enc = preprocessing.OneHotEncoder() enc.fit(X_train_seq)分析代码
03-03
当训练好编码器后，如果在测试数据中出现训练时未见过的类别，`OneHotEncoder` 默认会抛出错误。用户可以通过设置 `handle_unknown='ignore'` 来避免这种情况，这样在转换时遇到未知类别会生成全零的向量。这一点在...
One-HOT编码处理训练集中没遇到过的特征值的方法handle_unknown
lizz2276的博客
05-22 1452
Another possibility to convert categorical features to features that can be used with scikit-learn estimators is to use a one-of-K, also known as one-hot or dummy encoding. This type of encoding can be obtained with theOneHotEncoder, which transforms each.
使用 OneHotEncoder 将未知类别编码为零来处理未知类别。
dataschool的博客
08-16 338
这段文字主要介绍了在使用 one-hot 编码处理分类特征时，如何应对训练集中未出现的新类别。 核心内容： 问题： 当训练集中的分类特征没有涵盖所有可能的类别，而新数据出现未曾见过的类别时，one-hot 编码会遇到问题。 解决方案： 使用 handle_unknown='ignore' 参数，将所有未知类别编码为零。这相当于将所有未知类别视为同一个“其他”类别。 优点： 可以避免模型因未知类...
如何解决测试集中出现新特征值问题
sybil_wu的博客
03-23 809
问题描述 train set: feature 1： feature space： [a, b, c] test set : datax: feature 1 == d 在科研环境中，大家一般是将已有的数据集划分为 训练集，验证集，测试集，在对离散特征进行one-hot编码处理时，一般是在全量数据上进行（这有那么点违反train test unseen 的原则）。 此类问题发生在实际工程任务上，如果不进行一定的处理，模型则无法覆盖测试数据上产生的新特征值，从而导致预测失败 解决方案 方案1： skle
在对标签数据进行独热编码时遇到NotFoundError: Could not find valid device for node. Node:{{node OneHot}}
Y1n的博客
04-15 1660
遇到的错误 NotFoundError: Could not find valid device for node. Node:{{node OneHot}} All kernels registered for op OneHot : device='GPU'; TI in [DT_UINT8]; T in [DT_HALF] device='GPU'; TI in [DT_INT32]...
字符编码OneHotEncoder
hzp666的博客
11-21 538
可以看到，这时候4，被编码成[0,0,0,0]，这样虽然不会报错，但是会造成一定的信息损失，因此，如果需要构建模型，之前踩坑场景：GBDT+LR复合模型，对数据落在GBDT中每颗树的叶子结点下标进行独热编码，再放入LR中构建模型；2、使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。这个方法其实和OneHotEncoder差不多，但是不能训练数据，因此无法入模使用，只能用于数据分析。注意：Quantity列为数值型，并没有编码，编码的都是字符串型。
进阶torch:torch.stack和torch.cat + one-hot报错
ABU366的博客
09-22 1390
torch.cat()和torch.satck区别。及ont-hot独热编码报错
计算机视觉，如何识别未在训练集中没有出现过的类别？
胖胖大海的博客
06-13 3395
如何识别未在训练集中没有出现过的类别
jupyter notebook 报错：TypeError: __init__() got an unexpected keyword argument ‘categorical_features‘
阿正的梦工坊
01-02 3341
踩坑
报错处理：‘OneHotEncoder‘ object has no attribute ‘_drop_idx_after_grouping‘
qq_33583513的博客
06-06 563
报错位置：lib\site-packages\sklearn\preprocessing_encoders.py。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值