Pandas处理数据常用操作

最新推荐文章于 2025-05-10 19:15:00 发布

SuperLee188

最新推荐文章于 2025-05-10 19:15:00 发布

阅读量306

点赞数

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/jcli1_14/article/details/100538341

本文介绍了使用Pandas处理数据的基本操作，包括通过指定encoding正确读取含中文字符的CSV文件，查看数据的统计信息，如缺失值，以及如何进行异常数据处理，如转换数据类型、填充缺失值和删除含有特定字符的数据样本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据来源天池新人赛工业蒸汽预测数据https://tianchi.aliyun.com/competition/entrance/231693/introductionspm=5176.12281973.1005.4.3dd574ffWvvEJ0

数据读取：

path = r'train_datasets.txt'
df = pd.read_csv(path，seq = '\t')#既可以对txt文件又可以对csv，xls等文件读取
df = pd.read_table(path)  #多用于对txt文件

对于一些含有中文字符的文件读取,如果对encoding参数不加以指定会出现乱码情况，所以需要注意文件的编码方式，一般来说现在的一些非图像数据采用的多是用csv或者txt文件形式的，查看或更改其编码方式的时候可以利用Excel，按如下方式查看

首先查看数据文件的字符编码方式࿰

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SuperLee188

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

使用pandas做数据处理

healerlq的博客

02-13

269

处理目的对已有的指标进行简单的加减乘除处理求单个企业营业收入的行业占比根据证券代码判断是否是为ST 判断审计机构是否是四大去除空值、去除资产负债率大于1的企业使用函数、方法 groupby 列表生成式 .loc merge concat apply lambda表达式具体操作直接对对应索引 +、-、*、/ 使用groupby，merge函数 df ['行业总值']= pd...

数据分析 — Pandas 数据处理

记录学习过程，欢迎讨论交流~

02-14

3764

Pandas（Python Data Analysis Library）是一个基于 NumPy 的数据分析工具，专为解决数据分析任务而创建。它汇集了大量库和一些标准的数据模型，可以更高效地操作大型数据集。

参与评论您还未登录，请先登录后发表或查看评论

pandas处理数据

何加焉的博客

01-24

291

已知客户需求：在本文档所在的压缩文件中包括上学期期末实习对小白鼠视频处理后的文件，要求对这些文件中的内容用pandas进行数据处理，然后使用百度开源的可视化工具Echart对处理结果进行可视化展示。 1、数据说明要处理的数据包含在TextResult1.zip和TextResult2.zip中。解压缩后的文件名类似ch01_20180116002121(1-2).txt的格式，每个对应的文本文...

Pandas：数据处理与分析

最新发布

m0_73776435的博客

05-10

2514

Pandas 是一个开源的 Python 数据分析库，由 Wes McKinney 于 2008 年创建。它的名字来源于 “panel data”（面板数据），这是一种在经济学中常用的多维数据类型。Pandas 的目标是为 Python 提供一个功能强大、灵活易用的数据结构和数据分析工具，以满足现实世界中复杂多样的数据处理需求。Series和DataFrame。Series是一个一维的标签化数组，而DataFrame则是一个二维的表格型数据结构，类似于 Excel 中的表格或 SQL 中的表。

pandas进行数据处理

weixin_44736049的博客

03-16

614

时间问题需要把中文转为其他click here 涉及到时间的差值问题的时候，可以首先转化为datatime类型数据支持日期运算代码中附带正则表达式替换。其中delta.dt.days可以查看差值大小。 import pandas as pd data = pd.read_csv('./data_trans_Test.csv', encoding='gbk') data[u'故障日期'].replace((u'年', u'月'), '-', regex=True, inplace=True) data[

pandas数据处理

silence2015的专栏

03-26

1445

pandas是python非常重要的数据处理库，pandas提供了非常丰富的数据处理函数，对机器学习，数据挖掘前的数据预处理很有帮助。以下是最近小的使用总结：1、pandas读取了csv文件获取了Dataframe类型对象，该对象可以丰富的执行数据处理。缺失值处理dropna() or fillna()2、dataframe['name','age']来获取指定几列数据是不行的，需要两个中括号df=

Python之pandas表格处理常用方法的附件

09-05

Python中的pandas库是一个强大的...通过掌握这些常用方法，可以大大提高使用pandas处理表格数据的效率和准确性。这些方法的灵活运用，能够应对各种复杂的数据处理场景，从而为进一步的数据分析和建模打下坚实的基础。

Python数据分析与建模库-03数据分析处理库Pandas-3.常用函数

06-13

视频演示了数据处理中的多个操作，包括计算总值、处理缺失值、定位样本、排序和重置索引等，展示了数据处理的完整流程。 15:09 年龄分段与获救几率分析。视频展示了如何使用apply函数对data film中的元素值进行变换...

数据分析面试指南：pandas操作、数据处理与机器学习基础

05-08

内容概要：本文档《数据分析面试可能会问.pdf》涵盖了广泛的数据分析面试知识点，包括pandas常用操作、数据清洗、特征选择、常见算法原理（如决策树、GBDT、逻辑回归、K-means、朴素贝叶斯）、模型评估方法、过拟合...

ios 文件存储的五种方式

weixin_30340775的博客

01-22

174

为了将应用数据存储到硬盘中，IOS提供了：plist(属性列表)，数据库存储（SQLite），对象归档（NSCoding），Core Data，NSUserDefaults; 1.plist属性列表操作用来存储一些固定的数据类型：nsarray nsstring nsdata nsnumber nsdictionary nsdata等简单对象，适合小数据的操作，速率很高。 2.数据库（SQLi...

Pandas数据处理

Pert的博客

07-27

2037

pandas

使用Pandas进行数据处理

lkyangg

10-29

1696

准备工作，导入首先导入所需要的pandas，numpy，matplotlib，设置jupyter显示绘图 import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline 创建空列表，遍历循环，将csv文件依次读取并存入列表中，得到一个包含数据框的列表datalist datalist = [] for i in range(1,3): try: data = p.

使用pandas进行数据处理

xuexishiwochengz的博客

02-08

5162

使用pandas进行数据处理

pandas对于数据的简单处理

qq_64852881的博客

06-09

225

1.series一位数组，带标签数组2.dataframe二维，series的容器**pd.series(数据，index=索引)**数据数量要和index数量一致数据可以是推导式、list、字典、和numpy差不多，传入序号或者索引就ok基础属性：t = pd.dataframe(np.arange(12).reshape((3,4)), index=list(…),columns=list(…)pd.read_csv(‘CSV文件路径’，names=[‘名字1’，‘给字段取名2’，'名字3’]，ind

Pandas处理数据，基本应用

m0_66111719的博客

09-08

1164

Pandas是一个Python包，提供快速、灵活且表达力强的数据结构，旨在使处理“关系型”或“带标签”数据。专门设计用于进行数据分析和操作，它是建立在numpy之上，提供了易于使用的数据结构和数据分析工具。Pandas最主要的数据结构是DataFrame和Series。Pandas数据表格表示。

Pandas数据处理与分析

热门推荐

平凡简单的执着

12-04

3万+

关于 Pandas 如何由来的，这里就不过多介绍了（有兴趣可以去了解了解他的历史）。Pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具，而且Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。他主要有以下功能：为浮点数和与浮点数精度丢失提供了简易的处理方法。大数据（数...

pandas数据处理常用操作

03-16

### Pandas库中的常用数据处理操作 Pandas 是 Python 中用于数据分析的强大工具，提供了丰富的功能来处理各种形式的数据。以下是 Pandas 库中常用的几种数据处理操作及其具体实现方式： #### 1. 数据读取与写入 Pandas 提供了多种方法来读取和存储不同格式的数据文件。例如，可以使用 `pd.read_csv` 方法从 CSV 文件加载数据[^3]。 ```python import pandas as pd # 加载CSV文件 df = pd.read_csv('example.csv') # 将DataFrame保存为CSV文件 df.to_csv('output.csv', index=False) ``` #### 2. 数据选择与过滤可以通过布尔索引来筛选满足特定条件的数据行。此外，还可以利用 `.loc[]` 和 `.iloc[]` 来按标签或位置选取子集[^1]。 ```python # 使用布尔索引筛选年龄大于30岁的记录 filtered_df = df[df['age'] > 30] # 利用.loc按照列名访问指定范围内的数据 subset_df = df.loc[:, ['name', 'age']] ``` #### 3. 数据清洗对于缺失值的处理是常见的需求之一。这包括检测、填充或者删除含有NaN的条目；另外还有重复项移除等功能。 ```python # 删除任何包含NA/null值的行 cleaned_df = df.dropna() # 替换所有的null/NA为空字符串"" filled_df = df.fillna("") ``` #### 4. 数据转换应用自定义函数到整个Series 或 DataFrame 上面是非常普遍的需求。比如对某一列执行某种计算并创建新列。 ```python # 创建一个新的双倍年龄列 df['double_age'] = df['age'].apply(lambda x: x * 2) # 对整数类型的某列增加固定偏移量 df['salary_plus_bonus'] = df['salary'].map(lambda s: s + bonus_amount) ``` #### 5. 统计汇总 (GroupBy & Aggregation) 通过 groupby 可以轻松完成基于某些键值分组后的统计分析工作，如求平均值、总计等[^2]。 ```python # 计算每个性别的平均工资 grouped_salary = df.groupby('gender')['salary'].mean() ``` #### 6. 合并与连接当需要组合来自多个表的信息时，merge/join 功能就显得尤为重要了。它允许依据共同字段将两张表格关联起来[^2]。 ```python merged_df = pd.merge(df_left, df_right, on='key_column') ``` 以上只是Pandas众多特性的一部分展示而已，在实际项目里还会有更多复杂场景需要用到该库的功能[^4]。