字符串类型数据预处理的一个简单小方法

最新推荐文章于 2024-05-16 19:51:51 发布
原创 最新推荐文章于 2024-05-16 19:51:51 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在参与kaggle的House Prices竞赛时，面对81列数据，作者编写了一个简单方法，能自动将字符串类型特征按数字顺序编码。对于包含NAN或空值的元素，该方法会填充0，以方便后续的数据处理。然而，方法运行效率较低，每处理一列需要约10秒，并且触发了SettingWithCopyWarning警告，这与DataFrame的链式运算问题有关，作者计划进一步研究解决。

今天开始试着去做kaggle上的入门竞赛House Prices，因为数据集有81列，即81个特征，一列一列处理数据很头疼，于是想自己写几个方法
先写了一个简单的，可以自动把字符串类型的特征按数字顺序编码，如果数据中含有NAN或空元素就填入0，方便之后的处理
写出来之后发现运行效率很低，处理一列需要十秒，更头疼了……
还有就是弹出了SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame，是因为链式运算的问题，现在还不理解，先马一下。

def com(column):
    a = train[column].value_counts().index
    if train.isnull(
最低0.47元/天 解锁文章
解锁数据宝藏：数据挖掘之数据预处理全解析
邓邓子的博客
06-20 1078
在数据挖掘领域，数据预处理是挖掘高质量结果的关键前提。本文系统阐述数据预处理的重要性，深入剖析现实数据存在的不完整、含噪声等问题及其对挖掘结果的影响。详细介绍数据清洗、集成、变换、归约等核心方法，涵盖缺失值处理、特征编码、归一化等技术细节。结合 Python 实践，展示数据加载、清洗、转换等全流程操作，并通过电子商务客户数据、电力窃漏电数据等实际案例，呈现预处理的应用效果。最后对数据预处理的未来发展趋势进行展望，为数据挖掘工作者提供理论与实践参考。
Python 机器学习 基础 之 处理文本数据 【处理文本数据/用字符串表示数据类型/将文本数据表示为词袋】的简单说明
最新发布
仙魁XAN
05-31 1356
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
字符串的预处理
qq_43602486的博客
03-11 329
C++ isalpha、isalnum、islower、isupper用法 https://blog.youkuaiyun.com/weixin_41162823/article/details/80172379 C/C++库函数（tolower/toupper）实现字母的大小写转换 https://blog.youkuaiyun.com/laozhuxinlu/article/details/51539737
Python数据分析3------数据预处理（2）----字符串处理
weixin_30627381的博客
07-13 243
转载于:https://www.cnblogs.com/Lee-yl/p/9304399.html
字符串,元组,字典,列表(数据预处理:strip,replace,split,find,join,zip,keys,values,items,get,reverse,remove,sort)
二八定律法则
08-30 423
对数据进行预处理的时候，我们经常会用到函数方法来去除字符串或者字段前后的空格或换行符
字符串的多方式预处理
Luke的专栏
02-15 608
抽空期间写了一个 药费帐户统计系统 因为使用对象是母亲大人 所以再输入费用一栏中 经常会出现一些预想不到的情况 ：18.35 会被输入成18。35 18.3。518。 3518，3518,35非单个正确位置的数学小数点符号，而出现大量 1. 2。3， 4,  这4个符号，还有在18.35各种位置出现未知数量的空格情况，导致数据类型不匹配的报错。0.45 会被输入成.45。45，45,45    
字符串预处理
weixin_34218890的博客
11-13 215
用nextz[x][y]表示下标为x的字符后面第一次出现y的位置 s为字符串，存储的字符从下标1开始 void init() { for(int i='a';i<='z';i++) { for(int j=n;j>=1;j--) { nextz[j-1][i-'a']=nextz[j][i-'a...
【文本数据预处理】数据类型转换：掌握将字符串转换为数值类型和日期时间格式的方法。
[【文本数据预处理】数据类型转换：掌握将字符串转换为数值类型和日期时间格式的方法。](https://blog.finxter.com/wp-content/uploads/2021/02/int-scaled.jpg) # 1. 文本数据预处理的重要性 数据预处理是数据分析...
【数据清洗实战】：Python字符串数据预处理的终极指南
[【数据清洗实战】：Python字符串数据预处理的终极指南](https://www.askpython.com/wp-content/uploads/2020/02/python_lower-1024x576.png.webp) # 摘要 数据清洗与预处理是数据分析和机器学习前的重要步骤，对于...
6.字符型数据及其处理
Rabbit_0221的博客
11-04 563
R的数据类型与相应运算6 字符型数据及其处理6.1 字符型向量6.2 paste()函数6.3 转换大小写6.4 字符串长度6.5 取子串6.6 类型转换6.7 字符串拆分6.8 字符串替换功能6.9 正则表达式 （学习资料参考北京大学李东风老师《R语言教程》） 6 字符型数据及其处理 6.1 字符型向量 字符型向量是元素为字符串的向量。 如： s1 <- c('abc', '', 'a c...
数据预处理（三）：字符型特征处理
weixin_42189966的博客
06-16 6600
离散特征编码 一、介绍 1.原因 逻辑回归、svm、k近邻等算法只能处理数值型数据，而不能处理文字，因此有时候我们应对文字型数据进行编码，转化为数值型数据。在sklearn中，除了专用于处理文字的算法，其他算法输入数据时全部要求输入数组或矩阵，不能导入文字型数据。 2.两种编码方式 当分类变量的取值之间有大小意义时，如【小学、初中、大学】，可以将其编码为【0,1,2】。 当分类变量的取值 ...
【TensorFlow深度学习】三、流量数据预处理（字符串、csv、DataFrame、字典、张量之间的转换）
鹤子的一些知识共享
11-20 1079
本节简单介绍了数据预处理的内容，主要是字符串、csv文件、DataFrame、字典、张量等数据格式之间的转换与处理。经过这一节，我们以将字符串文件格式化为张量为例，详细介绍了处理过程。
python预处理字符串_寻找一种预处理字符串特征的方法
weixin_39612877的博客
02-11 274
编辑：也许简单的数字映射可以更快，而且没有冲突：import hashlibfrom numpy import arrayfeatures = array(['oklahoma', 'florida', 'idaho', 'pennsylvania', 'alabama','washington'], dtype=object)numbers = range(0, len(features))nu...
springMcv预处理查询参数空字符串
missY_H的博客
12-10 345
@InitBinder public void InitBinder(WebDataBinder dataBinder) { dataBinder.registerCustomEditor(String.class, new PropertyEditorSupport() { public void setAsText(String value) { ...
预处理详解
2301_79954395的博客
04-25 1013
C语言设定了一些预定义符号，这些符号是在预处理期间处理的1.__FILE__//表示编译的源文件的文件名2.__LINE__//表示当前的代码所在的行号3.__DATE__//表示文件被编译时的日期4.__TIME__//文件被编译时的时间使用举例：#define name stuff //中间是常量名，后面是需要替换成的常量(不单单是数字，字符也可以）替换常量与简化字符长度的用法简化重复或容易遗漏部分的巧妙用法（以switch中的break为例）
字符串类型及操作
weixin_44629859的博客
07-20 440
昨天写了turtle绘图，但中途停电断网刷新没保存，自闭！！！！！！ 字符串类型及操作 两类四种表示方法 单\双引号表示一行 单\双三引号表示多行 正向递增序号 与 反向递增序号 字符串的引用 单个引用【】 与切片 [M:N]从M开始到N-1字符结束 M缺失至开头 N开头缺失至结尾 [M:N:K]根据步长对字符串切片 [::-1]可将字符串逆序 字符串的特殊字符 1、转义符 -\表达特定字符的本意 -形成一些组合，表达不可打印的含义 字符串操作符 x + y连接两个字符串x,y x *n
预处理时如何处理类别型特征
Neekity的博客
01-09 893
1.序号编码： 比如成绩的优，良，及格，不合格可以编码成4,3,2,1 2.one-hot（独热）编码：优（1,0,0,0），良（0,1,0,0），及格（0,0,1,0），不合格（0,0,0,1） 3.二进制编码：优—&gt;100（对应于十进制的4）,良—&gt;011，及格—&gt;010，不合格—&gt;001 ...
预处理（C语言）
2301_80541270的博客
05-16 1684
C语言设置了一些预定义符号，可以直接使用，预定义符号也是在预处理期间处理的。__FILE__ //进行编译的源文件__LINE__ //文件当前的行号__DATE__ //文件被编译的日期__TIME__ //文件被编译的时间__STDC__ //如果编译器遵循ANSI C，其值为一，否则未定义#define reg register //为register取一个简短的名字;) //用更形象的符号来替换一种实现case //在写case语句的时候自动把break补上。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值