pandas数据清洗常用操作总结 （一）

最新推荐文章于 2025-07-13 22:26:50 发布
原创 最新推荐文章于 2025-07-13 22:26:50 发布 · 3.8k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pandas #数据清洗 #NSL-KDD dataset

文章目录

操作环境： pandas-0.24.2， jupyter notebook

本教程以加拿大University of New Brunswick的NSL-KDD数据集为操作对象，来进行pandas常用操作总结
包含了数据清理过程中的常用操作， 有些操作只是罗列出来，（需要使用的）对照本教程到pandas官网文档查询。

1 读取数据、查看数据信息

df.info()
样本数量：125973， 特征数量：43
non-null表明没有缺失值
43个特征数据类型：15(float) + 24(int) + 4(object)
在这里插入图片描述
在这里插入图片描述

2 查看数据内容

pd.set_option(‘display.max_columns’, None)
pd.set_option(‘display.max_rows’, None)
pd.set_option(‘max_colwidth’, 44)
df.head(10)
在这里插入图片描述

3 数据描述

df.describe()

最低0.47元/天 解锁文章

200万优质内容无限畅学
【数据清洗】总结
Lamcky的博客
08-24 4679
写在前面（201908）： 数据质量问题往往会影响到工作效果，我们学习现代工具后，很容易就建立起一个初步的模型。但是真正的工作是如何优化它，而关键节点就包括数据的清洗和模型的调优。就好比想要做一道好菜，就需要好的原材料和好的制作手法。而不同的数据处理方法，也跟模型的需要息息相关。因此理解模型对数据的要求也是对做好一道菜的必要知识点。 这里先参考相关材料，记录下常规的数据清洗方法，并持续更新。 内容...
pandas数据清洗总结
weixin_43597208的博客
10-15 1053
pandas数据清洗，一般包括对重复值的处理，对缺失值的处理及异常值的处理；下面分别介绍。
利用Pandas进行数据清洗心得
A_I_H_L的博客
11-13 1528
一. 数据读取 二.数据的探索与描述 三.数据的简单处理 四.删除重复值 五.异常值的处理 六.缺失值的处理 七.文本字符串的处理 具体步骤在我的这个ipynb文件里 链接：https://pan.baidu.com/s/1CzFLhWsZ-YZXcI7dD-zN5A 提取码：p0ey –来自百度网盘超级会员V2的分享 ...
Pandas-数据清洗与处理
最新发布
07-13 1031
数据清洗与处理往往占据最多的时间，现实世界中的数据很少是完美的——它们可能包含缺失值、异常值、重复记录，或是格式混乱、命名不规范的字段。Pandas作为Python数据处理的瑞士军刀，提供了强大而灵活的工具来应对这些问题。
数据清洗工作小结
Isabella_leeo的博客
08-27 1739
今天帮课题组的老师处理了一部分数据，由于长时间不做数据清洗的工作，本栗子进行了长达2个小时的百度。这篇文档主要是针对该清洗工作的小结。 从xlsx文件中读取指定的几列数据，为数据框格式 xls=pd.ExcelFile('ABC.xlsx') #BG、BH、BI、BJ、BK、BL列 #sheet的名字为Data df=pd.read_excel(xls, 'Data',usecols="BG:BL") 获取数据框的所有列名 columns_list=df.columns.tolist()#返回列表
总结了pandas实现数据清洗的7种方式
菜鸟学Python数据分析
05-10 2101
今天给大家介绍一下excel和pandas实现数据清洗的种方式1.处理数据中的空值我们在处理真实的数据时，往往会有很多缺少的的特征数据，就是所谓的空值，必须要进行处理才能进行下一步分析空值...
数据清洗处理-常用操作
weixin_45469590的博客
03-24 1092
# 数据清洗常用操作 # 重复值处理 print('存在' if any(train_data.duplicated()) else '不存在', '重复观测值') train_data.drop_duplicates() #缺失值处理 print('存在' if any(train_data.isnull()) else '不存在', '缺失值') train_data.dropna() # ...
Pandas教程：详解Pandas数据清洗
旦莫的博客
09-06 2460
数据清洗是数据科学和数据分析中的一个重要步骤，旨在提升数据的质量和可用性。它的主要目标是识别和纠正数据集中的错误、缺失、不一致和冗余，从而使数据更加准确、完整和一致。
Python pandas 数据清洗 基础教程
01-15
Python pandas 数据清洗基础教程 Python pandas 是一个非常流行的数据处理库，它提供了许多强大的功能来处理和分析数据。在数据处理过程中，数据清洗是一个非常重要的步骤，它可以帮助我们将原始数据转换为可以用于...
pandas数据清洗常用操作总结（二）
Joseph__Lagrange的博客
05-24 1073
连续数值数据和有意义的离散数据，才能够送入到模型进行训练， 对于缺失值、字符串数据和离散数据必须做处理 1 缺失值检测和处理 （1）检测 df.info() 或 df.isnull() 数据量比较大：用np.sum(df.isnull().any()) 和 np.sum(df.isnull().all()) （2）处理 a.删除法； DataFrame.dropna(axis=0, how=‘a...
总结四——使用pandas进行数据清洗，规整、聚合与分组
WilliamZ_的博客
05-20 1545
前面的总结三介绍了pandas入门的知识，本文将进一步总结pandas在数据分析中常见的操作。 数据清洗与准备 缺失值的检测 isnull()： 使用any函数直接检测是否存在缺失值，如any(df.isnull())，返回True or False。 notnull：不是缺失值检测， 处理缺失值 一般而言，遇到缺失值时，可采用的三种方法：删除法、替换法、插补法。 删除法： 当缺失的观测比例...
数据清洗总结
weixin_42326545的博客
11-19 352
数据清洗
pandas 学习笔记-- 数据清洗和转换
cheney 博客
10-28 1376
pandas 是python的一个标准库，在数据预处理方面具有卓越的效果。 其主要有三种数据结构 Series, DataFrame and Panel，前面两种使用非常广泛，后面一种使用比较少，因而没有关注。本文是对前两种数据类型的学习心得的分享， 有不足之处还希望大牛多多指导。 笔记内容 数据结构创建 数据基本操作 数据清洗和转换  数据结构创建 创建Ser
Pandas数据清洗总结
m0_53292725的博客
04-21 1074
# 导入 import numpy as np import pandas as pd # 查看版本 pd.__version__ 文本文件的读取： 对于csv或txt后缀的文本文件，用read_csv函数来实现文件的导入。重要参数的含义如下 pd.read_csv(file_path_or_buffer, #指定导入文件的具体路径 sep = ', ', # 指定元数据中各种变量之间的分割符，默认是逗号，可自行修改 header='infer' , #默认将数据集首行作为表头(列名)，若原
python数据清理的实践总结_Python数据清洗实践
weixin_39955154的博客
12-07 752
原标题：Python数据清洗实践DATA CLEANING WITH PYTHON作者 | Balogun Omobolaji翻译 | 酱番梨、祝弟弟基督教校对 | Pita 审核 | 约翰逊·李加薪 整理 | 立鱼王https://medium.com/machine-intelligence-team/data-cleaning-with-python-d0ca811d6cdf注：本文的相关链...
总结：数据清洗的一些总结
MrLevo520的博客
08-25 5194
前言 在整理项目的时候发现清洗过程是一个非常细节的过程，几乎贯穿始终，也是后续步骤特征提取等的前置条件，所以整理如下,因为展开较大，所以我已近上传mindnode脑图和原始照片尺寸，请在这里下载数据清洗脑图原版 致谢机器学习基础与实践（一）—-数据清洗箱形图为什么能检测异常值，原理是什么？五个步骤教你数据清洗数据清洗基本概念标准化矩阵 协方差矩阵 相关系数矩阵数据挖掘数据预处理之：异常值检测数据
机器学习：数据预处理--数据清洗
纸上得来终觉浅
09-09 7385
数据预处理--数据清洗，空缺数据填充
数据清洗总结笔记
水木小僧
02-12 809
1.删除多列 def drop_multiple_col(col_names_list, df): ''' AIM -> Drop multiple columns based on their column names INPUT -> List of column names, df OUTPUT -> updated df...
pandas数据清洗常用方法
05-10
pandas是一个非常强大的数据处理库，提供了许多用于数据清洗的方法。以下是一些常用的pandas数据清洗方法： 1. 缺失值处理：使用`dropna()`方法或`fillna()`方法处理缺失值。 2. 重复值处理：使用`duplicated()`方法或`drop_duplicates()`方法处理重复值。 3. 数据类型转换：使用`astype()`方法将一列数据转换为指定的数据类型。 4. 字符串处理：使用`str`属性中的方法处理字符串数据，例如`strip()`、`replace()`、`split()`等。 5. 列名重命名：使用`rename()`方法将列名重命名。 6. 数据合并：使用`merge()`方法将两个数据集合并成一个。 7. 数据透视表：使用`pivot_table()`方法生成透视表。 8. 数据分组：使用`groupby()`方法将数据按照指定的列分组。 9. 数据排序：使用`sort_values()`方法将数据按照指定的列排序。 以上是一些常用的pandas数据清洗方法，当然还有许多其他方法可以用于数据清洗。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值