Pandas 常用功能详细教程！

精通Pandas
最新推荐文章于 2025-09-19 08:00:00 发布
转载 最新推荐文章于 2025-09-19 08:00:00 发布 · 1.3k 阅读 · 14
文章标签：

#编程语言 #python #人工智能 #数据分析 #csv

来源：机器之心

Python 是开源的，它很棒，但是也无法避免开源的一些固有问题：很多包都在做（或者在尝试做）同样的事情。如果你是 Python 新手，那么你很难知道某个特定任务的最佳包是哪个，你需要有经验的人告诉你。有一个用于数据科学的包绝对是必需的，它就是 pandas。

pandas 最有趣的地方在于里面隐藏了很多包。它是一个核心包，里面有很多其他包的功能。这点很棒，因为你只需要使用 pandas 就可以完成工作。

pandas 相当于 python 中 excel：它使用表（也就是 dataframe)，能在数据上做各种变换，但还有其他很多功能。

如果你早已熟知 python 的使用，可以直接跳到第三段。

让我们开始吧!

pandas 最基本的功能

读取数据

data = pd.read_csv( my_file.csv )
data = pd.read_csv( my_file.csv , sep= ; , encoding= latin-1 , nrows=1000, skiprows=[2,5])

sep 代表的是分隔符。如果你在使用法语数据，excel 中 csv 分隔符是「;」，因此你需要显式地指定它。编码设置为 latin-1 来读取法语字符。nrows=1000 表示读取前 1000 行数据。skiprows=[2,5] 表示你在读取文件的时候会移除第 2 行和第 5 行。

  • 最常用的功能：read_csv, read_excel

  • 其他一些很棒的功能：read_clipboard, read_sql

写数据

data.to_csv( my_new_file.csv , index=None)

index=None 表示将会以数据本来的样子写入。如果没有写 index=None，你会多出一个第一列，内容是 1，2，3，...，一直到最后一行。

我通常不会去使用其他的函数，像.to_excel, .to_json, .to_pickle 等等，因为.to_csv 就能很好地完成工作，并且 csv 是最常用的表格保存方式。

检查数据

image 
Gives (#rows, #columns)

给出行数和列数

data.describe()

计算基本的统计数据

查看数据

data.head(3)

打印出数据的前 3 行。与之类似，.tail() 对应的是数据的最后一行。

data.loc[8]

打印出第八行

data.loc[8,  column_1 ]

打印第八行名为「column_1」的列

data.loc[range(4,6)]

第四到第六行（左闭右开）的数据子集

pandas 的基本函数

逻辑运算

data[data[ column_1 ]== french ]
data[(data[ column_1 ]== french ) & (data[ year_born ]==1990)]
data[(data[ column_1 ]== french ) & (data[ year_born ]==1990) & ~(data[ city ]== London )]

通过逻辑运算来取数据子集。要使用 & (AND)、 ~ (NOT) 和 | (OR)，必须在逻辑运算前后加上「and」。

data[data[ column_1 ].isin([ french ,  english ])]

除了可以在同一列使用多个 OR，你还可以使用.isin() 函数。

基本绘图

matplotlib 包使得这项功能成为可能。正如我们在介绍中所说，它可以直接在 pandas 中使用。

data[ column_numerical ].plot()
image

（）.plot() 输出的示例

data[ column_numerical ].hist()

画出数据分布（直方图）

image

.hist() 输出的示例

%matplotlib inline

如果你在使用 Jupyter，不要忘记在画图之前加上以上代码。

更新数据

data.loc[8,  column_1 ] =  english
将第八行名为 column_1 的列替换为「english」


data.loc[data[ column_1 ]== french ,  column_1 ] =  French

在一行代码中改变多列的值

好了，现在你可以做一些在 excel 中可以轻松访问的事情了。下面让我们深入研究 excel 中无法实现的一些令人惊奇的操作吧。

中级函数

统计出现的次数

data[ column_1 ].value_counts()
image

.value_counts() 函数输出示例

在所有的行、列或者全数据上进行操作

data[ column_1 ].map(len)

len() 函数被应用在了「column_1」列中的每一个元素上

.map() 运算给一列中的每一个元素应用一个函数

data[ column_1 ].map(len).map(lambda x: x/100).plot()

pandas 的一个很好的功能就是链式方法（https://tomaugspurger.github.io/method-chaining）。它可以帮助你在一行中更加简单、高效地执行多个操作（.map() 和.plot()）。

data.apply(sum)

.apply() 会给一个列应用一个函数。

.applymap() 会给表 (DataFrame) 中的所有单元应用一个函数。

tqdm, 唯一的

在处理大规模数据集时，pandas 会花费一些时间来进行.map()、.apply()、.applymap() 等操作。tqdm 是一个可以用来帮助预测这些操作的执行何时完成的包（是的，我说谎了，我之前说我们只会使用到 pandas）。

from tqdm import tqdm_notebook
tqdm_notebook().pandas()

用 pandas 设置 tqdm

data[ column_1 ].progress_map(lambda x: x.count( e ))

用 .progress_map() 代替.map()、.apply() 和.applymap() 也是类似的。

image

在 Jupyter 中使用 tqdm 和 pandas 得到的进度条

相关性和散射矩阵

data.corr()
data.corr().applymap(lambda x: int(x*100)/100)
image

.corr() 会给出相关性矩阵

pd.plotting.scatter_matrix(data, figsize=(12,8))
image

散点矩阵的例子。它在同一幅图中画出了两列的所有组合。

pandas 中的高级操作

The SQL 关联

在 pandas 中实现关联是非常非常简单的

data.merge(other_data, on=[ column_1 ,  column_2 ,  column_3 ])

关联三列只需要一行代码

分组

一开始并不是那么简单，你首先需要掌握语法，然后你会发现你一直在使用这个功能。

data.groupby( column_1 )[ column_2 ].apply(sum).reset_index()

按一个列分组，选择另一个列来执行一个函数。.reset_index() 会将数据重构成一个表。

image

正如前面解释过的，为了优化代码，在一行中将你的函数连接起来。

行迭代

dictionary = {}

for i,row in data.iterrows():
 dictionary[row[ column_1 ]] = row[ column_2 ]

.iterrows() 使用两个变量一起循环：行索引和行的数据 (上面的 i 和 row)

总而言之，pandas 是 python 成为出色的编程语言的原因之一

我本可以展示更多有趣的 pandas 功能，但是已经写出来的这些足以让人理解为何数据科学家离不开 pandas。总结一下，pandas 有以下优点：

  • 易用，将所有复杂、抽象的计算都隐藏在背后了；

  • 直观；

  • 快速，即使不是最快的也是非常快的。

它有助于数据科学家快速读取和理解数据，提高其工作效率

原文链接：

https://towardsdatascience.com/be-a-more-efficient-data-scientist-today-master-pandas-with-this-guide-ea362d27386

●Python 会交互的绘图库 Plotly！

●取数，取数，取个屁啊！

后台回复“入群”即可加入小z数据干货交流群
pandas教程
10-16
pandas教程，详细的介绍的pandas的使用办法，以及调用api函数
Pandas教程(cookbook)
04-19
pandas最新最全教程， 覆盖pandas所有的知识点。可以根据自身的需要，有选择性的阅读。文档代码可以直接复制运行。
数据处理与系统分析：Pandas使用
最新发布
bangbang两拳的博客
09-19 850
pands使用基础是numpyPandas是Python的开源包，核心对象是Series和DataFrame，Series可以看作是整行或者整列的数据集，DF是Series的集合，即二维表pands中有两种数据结构，分别是series和DataFrame，一般是加载csv文件进行操作，csv文件特点：CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。通常都是纯文本文件。加载方式，xx =
pandas中文教程
12-06
之前在百度文库中看到这个pandas教程，感觉很不错，现在把他整理放到这里来
Pandas教程
weixin_73585495的博客
09-03 1962
Pandas 是 Python 中一个强大的数据处理库，广泛应用于数据分析、数据清洗、数据探索等领域。Series和DataFrame。Series是一种一维标签化数组，可以包含任何数据类型（整数、字符串、浮点数、Python 对象等）。在 Pandas 中，Series可以看作是带有标签的一维数组，这些标签被称为索引。
Pandas教程（一）
None
09-13 2583
Series使用特性\Series整数索引问题\Series数据对齐\Series缺失值的处理\DataFrame的创建\DataFrame常见属性\DataFrame索引与切片\DataFrame数据对齐与缺失数据处理\Pandas常用函数\ demo10-时间对象\ demo11-时间序列\ demo12-Pandas文件操作\
pandas教程(快速入门，纯干货无废话)
qq_64997449的博客
01-17 4063
本文不会详细介绍pandas各种优势、特点、用途这些无关紧要的东西，主要围绕Series和DataFrame这两种数据结构的用法来进行讲解，旨在帮助读者花最少的时间了解pandas该怎么用，适合了解但不熟练的同学用来加强巩固和复习。Pandas Series入门教程下面开始正文部分。
pandas使用教程
Allure Love的博客
03-04 356
1.read_csv使用 https://blog.youkuaiyun.com/zjyklwg/article/details/79556545 2.drop_duplicates去除重复项使用 https://blog.youkuaiyun.com/qq_28811329/article/details/79962511 3.python中axis=0 axis=1的理解 https://blog.c...
pandas入门教程
机器学习算法与Python学习
10-19 477
pandas是一个Python语言的软件包，在我们使用Python语言进行机器学习编程的时候，这是一个非常常用的基础编程库。本文是对它的一个入门教程。pandas提供了快...
Pandas中文教程
chujiu1884的博客
01-14 1064
导航 索引 模块| 下一个| pandas 0.19.2 documentation» 目录 新功能 安装 为pandas贡献 常见问题（FAQ） 套装概述 10分钟入门pandas 教程 食谱 数据结构简介 基本基...
pandas简明教程
weixin_53344209的博客
03-01 717
之前我们学了Numpy,他可以提供各种高效的操作，但是面对一些灵活的任务，numpy仍然有限制。所以在其基础上我们又发展了pandas。尤其是他的dataframe,series为数据清理提供了高效的方法。 1、pandas对象简介 pandas对象其实可以看成增强版的numpy，因为它不再只有整数索引，可以自定义行列索引，称为标签，这看起来和我们日常用的Excel表格很相似。我们需要知道pandas最基本的三个数据结构：Dataframe,Series,Index 看一个例子： data=pd.Serie
Pandas教程（非常详细）
web15185420056的博客
06-10 959
转载于： http://c.biancheng.net/pandas/Pandas 库是一个免费、开源的第三方 Python 库，是 Python 数据分析必不可少的工具之一，它为 Python 数据分析提供了高性能，且易于使用的数据结构，即 Series 和 DataFrame。Pandas 自诞生后被应用于众多的领域，比如金融、统计学、社会科学、建筑工程等。Pandas 库基于 Python NumPy 库开发而来，因此，它可以与 Python 的科学计算库配合使用。Pandas 提供了两种数据结构，分
Pandas的使用教程
学海无涯
05-18 475
  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/kun1280437633/article/details/80369390 1、数据读取 2、数据预处理 3、常用函数 4、series结构 ...
Pandas入门教程
pdcfighting的博客
01-23 449
点击上方“Python共享之家”关注回复“资料”可获赠Python学习福利今日鸡汤声喧乱石中，色静深松里。大家好，我是皮皮。其实这个pandas教程，卷的很严重了，才哥，小P等人写...
Pandas教程整理
weixin_43374551的博客
09-02 2287
Pandas的详细教程，每个函数都包含了丰富的例子
Pandas入门教程(一)
Linux,Java,SpringBoot,Python,Lua略知一点
09-25 528
数据分析处理库 import pandas as pd df=pd.read_csv("./pandas/data/titanic.csv") df.head(N) 读取数据的前N行 df.head(6) df.info() 获取DataFrame的简要摘要 df.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 891 entries, 0 to 890 Data columns (total 12 columns): #
pandas库详细教程
02-21
<think>嗯，用户让我介绍pandas库的详细教程，我需要先考虑他们可能的背景和需求。可能他们刚开始学习Python数据分析，或者想系统地了解pandas的各种功能。我应该从基础开始，逐步深入，涵盖主要的数据结构如Series和DataFrame，然后讲解数据导入、清洗、处理、分析以及可视化等内容。 首先，要确认用户是否了解Python的基础，比如列表、字典等，但可能不需要深入，直接切入pandas的主题更合适。接下来，我应该分步骤介绍，每个部分给出代码示例，这样用户能边学边练。同时，要注意说明pandas在数据处理中的常见应用场景，比如处理缺失值、数据合并、分组聚合等，这些都是实际项目中常用的功能。 用户可能需要一个结构化的教程，所以分章节比较合适。比如安装、数据结构、数据读写、数据筛选、处理缺失值、数据操作、合并、分组、时间序列和可视化这些部分。每个部分下再细分小点，比如在数据结构里比较Series和DataFrame的不同，展示如何创建和操作它们。 另外，用户可能对实际例子感兴趣，所以每个知识点最好有对应的示例代码，比如用字典创建DataFrame，或者如何用groupby进行分组统计。同时，要指出常见错误和注意事项，比如设置索引的重要性，或者处理缺失数据时的不同方法区别。 还要考虑用户可能想进一步学习，所以在最后提供进阶内容和学习资源，比如官方文档、推荐书籍和实战项目，这样他们可以根据需要深入。确保语言简洁，避免过于专业的术语，让初学者也能跟上。可能用户时间有限，所以内容要精炼，但覆盖全面，重点突出常用功能。 最后，检查是否有遗漏的重要知识点，比如pandas的时间序列处理，这在数据分析中也很常见，应该包含进去。可视化部分虽然pandas主要依赖Matplotlib，但简单的图表生成还是有必要介绍的。确保代码示例正确，不会出现运行错误，比如导入库的语句是否写上，示例数据是否容易获取。 总之，结构要清晰，内容由浅入深，代码示例配合讲解，覆盖主要功能点，同时提供进一步学习的指引，这样用户就能有一个全面的入门指南，并能根据教程动手练习，逐步掌握pandas的使用。</think>以下是 **pandas 库**的详细中文教程，涵盖核心功能、常用操作及代码示例，帮助你快速掌握数据分析技能。 --- ### **1. pandas 简介** - **是什么**：pandas 是 Python 的**开源数据分析库**，提供高效的数据结构（如 `DataFrame`）和数据处理工具。 - **核心用途**：数据清洗、转换、统计分析、可视化等。 - **优势**：处理表格数据（如 CSV、Excel）和时间序列数据效率极高。 --- ### **2. 安装 pandas** ```python pip install pandas ``` --- ### **3. 核心数据结构** #### **(1) Series** - **一维数组**（带索引的数组） ```python import pandas as pd s = pd.Series([3, 5, 7, 9], index=['a', 'b', 'c', 'd']) print(s['b']) # 输出: 5 ``` #### **(2) DataFrame** - **二维表格**（类似 Excel 表格） ```python data = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35], 'City': ['Beijing', 'Shanghai', 'Guangzhou']} df = pd.DataFrame(data) print(df) ``` -- ### **4. 数据读取与保存** #### **(1) 读取 CSV/Excel** ```python # 读取 CSV df_csv = pd.read_csv('data.csv') # 读取 Excel df_excel = pd.read_excel('data.xlsx') ``` #### **(2) 保存数据** ```python df.to_csv('output.csv', index=False) # 不保存索引 df.to_excel('output.xlsx', sheet_name='Sheet1') ``` --- ### **5. 数据查看与筛选** #### **(1) 查看数据** ```python df.head(3) # 查看前 3 行 df.tail() # 查看后 5 行 df.info() # 数据类型和内存信息 df.describe() # 统计摘要（均值、标准差等） ``` #### **(2) 筛选数据** ```python # 按列筛选 df['Name'] # 选择单列 df[['Name', 'Age']] # 选择多列 # 按行筛选 df[df['Age'] > 25] # 年龄大于25的行 df[(df['Age'] > 25) & (df['City'] == 'Shanghai')] # 多条件筛选 ``` --- ### **6. 处理缺失值** ```python # 检查缺失值 df.isnull() # 删除缺失值 df.dropna() # 填充缺失值 df.fillna(0) # 用 0 填充 df.fillna(df.mean()) # 用均值填充 ``` --- ### **7. 数据操作** #### **(1) 添加列** ```python df['Salary'] = [5000, 6000, 7000] # 直接添加 df['Age_Group'] = df['Age'].apply(lambda x: 'Young' if x < 30 else 'Adult') # 条件赋值 ``` #### **(2) 排序** ```python df.sort_values(by='Age', ascending=False) # 按年龄降序排列 ``` #### **(3) 去重** ```python df.drop_duplicates(subset='City') # 根据城市去重 ``` --- ### **8. 数据合并** ```python # 横向合并（列合并） df1 = pd.DataFrame({'A': [1, 2], 'B': [3, 4]}) df2 = pd.DataFrame({'C': [5, 6], 'D': [7, 8]}) pd.concat([df1, df2], axis=1) # 纵向合并（行合并） pd.concat([df1, df2], axis=0) ``` -- ### **9. 分组与聚合** ```python # 按城市分组，计算平均年龄 df.groupby('City')['Age'].mean() # 多级聚合 df.groupby('City').agg({'Age': 'mean', 'Salary': 'sum'}) ``` --- ### **10. 时间序列处理** ```python # 创建时间序列 date_rng = pd.date_range(start='2023-01-01', end='2023-01-10', freq='D') df_time = pd.DataFrame({'date': date_rng, 'value': range(10)}) # 按时间筛选 df_time[df_time['date'] > '2023-01-05'] ``` --- ### **11. 数据可视化** pandas 集成 Matplotlib，快速绘制图表： ```python df.plot(kind='line', x='date', y='value') # 折线图 df.plot(kind='bar', x='City', y='Salary') # 柱状图 ``` --- ### **12. 进阶技巧** - **向量化操作**：避免循环，直接对整列操作（如 `df['Age'] * 2`）。 - **设置索引**：`df.set_index('City', inplace=True)`。 - **多层索引**：`pd.MultiIndex` 处理复杂数据层次。 --- ### **13. 学习资源** - **官方文档**：[pandas.pydata.org](https://pandas.pydata.org/) - **书籍推荐**：《利用Python进行数据分析》（作者：Wes McKinney，pandas 创始人） - **实战项目**：Kaggle 数据集分析、股票数据清洗与可视化。 --- 通过以上内容，你可以快速掌握 pandas 的核心功能。建议边学边练，结合实际数据集操作！
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值