聊聊Pandas的前世今生

深入理解Python数据分析利器——Pandas库详解(一) Pandas是Python中专为数据操作和分析设计的开源库,提供了高性能的数据结构和丰富的数据操作工具。Pandas的主要目标是成为数据分析领域的高级工具,解决多种数据格式的处理需求。无论是表格数据(如SQL表或Excel表),还是多维数组、时间序列数据,Pandas都能轻松应对。Series:一维数组,包含数据和对应的索引。DataFrame:二维表格数据结构,既有行索引也有列索引,类似于电子表格或SQL表格。接下来,我们将通过具体代码示例详细介绍如何使用这两个数据结构以及Pandas的常见功能。 阅读详情

今天是六一儿童节,在最前面先祝大家节日快乐,我们至死是少年,哈哈哈哈。今天主要和大家聊一下 Pandas 的相关内容。没有代码,图文并茂,内容阅读起来很舒适。

本文将从Python生态、Pandas历史背景、Pandas核心语法、Pandas学习资源四个方面去聊一聊Pandas,期望能带给大家一点启发。

一、Python生态里的Pandas

五月份TIOBE编程语言排行榜,Python追上Java又回到第二的位置。Python如此受欢迎一方面得益于它崇尚简洁的编程哲学,另一方面是因为强大的第三方库生态。

要说杀手级的库,很难排出个先后顺序,因为python的明星库非常多,在各个领域都算得上出类拔萃。

比如web框架-Django、深度学习框架-TensorFlow、自然语言处理框架-NLTK、图像处理库-PIL、爬虫库-requests、图形界面框架-PyQt、可视化库-Matplotlib、科学计算库-Numpy、数据分析库-Pandas......

上面大部分库我都用过,用的最多也最顺手的是Pandas,可以说这是一个生态上最完整、功能上最强大、体验上最便捷的数据分析库,称为编程界的Excel也不为过。

Pandas在Python数据科学链条中起着关键作用,处理数据十分方便,且连接Python与其它核心库。

二、十项全能的Pandas

Pandas诞生于2008年,它的开发者是Wes McKinney,一个量化金融分析工程师。

因为疲于应付繁杂的财务数据,Wes McKinney便自学Python,并开发了Pandas。

大神就是这么任性,没有,就创造。

为什么叫作Pandas,其实这是“Python data analysis”的简写,同时也衍生自计量经济学术语“panel data”(面板数据)。

所以说Pandas的诞生是为了分析金融财务数据,当然现在它已经应用在各个领域了。

❝

2008: Pandas正式开发并发布 

2009:Pandas成为开源项目 

2012: 《利用Python进行数据分析》出版 

2015: Pandas 成为 NumFOCUS 赞助的项目

❞

Pandas能做什么呢?

它可以帮助你任意探索数据,对数据进行读取、导入、导出、连接、合并、分组、插入、拆分、透视、索引、切分、转换等,以及可视化展示、复杂统计、数据库交互、web爬取等。

同时Pandas还可以使用复杂的自定义函数处理数据,并与numpy、matplotlib、sklearn、pyspark、sklearn等众多科学计算库交互。

Pandas有一个伟大的目标,即成为任何语言中可用的最强大、最灵活的开源数据分析工具。

让我们期待下。

三、Pandas核心语法

1.  数据类型

Pandas的基本数据类型是dataframe和series两种,也就是行和列的形式,dataframe是多行多列,series是单列多行。

如果在jupyter notebook里面使用pandas,那么数据展示的形式像excel表一样,有行字段和列字段,还有值。

2. 读取数据

pandas支持读取和输出多种数据类型,包括但不限于csv、txt、xlsx、json、html、sql、parquet、sas、spss、stata、hdf5

读取一般通过read_*函数实现,输出通过to_*函数实现。

image
image
3. 选择数据子集

导入数据后,一般要对数据进行清洗,我们会选择部分数据使用,也就是子集。

在pandas中选择数据子集非常简单,通过筛选行和列字段的值实现。

具体实现如下:

4. 数据可视化

不要以为pandas只是个数据处理工具,它还可以帮助你做可视化图表,而且能高度集成matplotlib。

你可以用pandas的plot方法绘制散点图、柱状图、折线图等各种主流图表。

5. 创建新列

有时需要通过函数转化旧列创建一个新的字段列,pandas也能轻而易举的实现

image
6. 分组计算

在sql中会用到group by这个方法,用来对某个或多个列进行分组,计算其他列的统计值。

pandas也有这样的功能,而且和sql的用法类似。

image
7. 数据合并

数据处理中经常会遇到将多个表合并成一个表的情况,很多人会打开多个excel表,然后手动复制粘贴,这样就很低效。

pandas提供了merge、join、concat等方法用来合并或连接多张表。

小结

pandas还有数以千计的强大函数,能实现各种骚操作。

python也还有数不胜数的宝藏库,等着大家去探索

三、Pandas学习资源

如果说学习Pandas最好的教程是什么,那毫无疑问是官方文档,从小白到高手,它都给你安排的妥妥的,这个后面详细介绍。

下面我会从入门、进阶、练习四个三面给你们推荐相应的教程和资源。

1. 入门教程

十分钟入门Pandas(英文版)[1]

这是Pandas官网专门为新手写的入门引导,大概就几千字,包括对Pandas的简要介绍,和一些基本的功能函数。

主要的内容有:数据的创建、查看、筛选、拼接、连接、分组、变形、可视化等等。

而且这个小册子包含了很多代码示例,如果你能完整过一遍,入门Pandas基本没啥问题。

中文版似乎也有,但翻译的准确性大家自己识别斟酌下。

十分钟入门 Pandas | Pandas 中文[2]

利用Pandas进行数据分析[3]

这本书不用了说了,可能是你入门python数据分析的第一本书,它的作者是Pandas库的核心开发者,也就是说这本书相当于是Pandas的官方出版教程。

image

为什么它适合入门pandas,因为整本书的编排是从数据分析的角度切入的,由浅入深将pandas对数据的处理讲的很透彻。

当然这本书也存在知识点过于零碎,翻译不到位的问题,但整体来说是本好书。

w3schools pandas tutorial[4]

w3school的pandas文档, 逻辑比较清晰,也是从数据分析角度去讲pandas。

image

Learn Pandas Tutorials[5]

数据科学平台kaggle提供的pandas入门教程,共六大节涵盖了pandas数据处理各种方法。

image

joyful-pandas[6]

国内小伙伴写的Pandas笔记,挺详细的,大家可以去下载项目里的notebook,放到自己电脑里练习。

2. 进阶教程

pandas用户指南[7]

这是pandas官网的教程,非常详细,主要从数据处理的角度介绍相应的pandas函数,方便用户查阅。

如果你的英文还不错,也喜欢阅读技术文档,我是建议花时间把这份指南看一遍,配合练习。

我把整个pandas文档下载下来,发现足足有3000多页。

pandas api检索[8]

官网的pandas api集合,也就是pandas所有函数方法的使用规则,是字典式的教程,建议多查查。

pandas-cookbook[9]

这是一个开源文档,作者不光介绍了Pandas的基本语法,还给出了大量的数据案例,让你在分析数据的过程中熟悉pandas各种操作。

Python Data Science Handbook[10]

数据科学书册,不光有pandas,还有ipython、numpy、matplotlib、sklearn,这些都是深入学习pandas不可缺少的工具。

3. 练习资源

Pandas练习集[11]

github上一个练习项目,针对pandas每个功能都有对应的真实数据练习。

101个Pandas练习[12]

一位国外博主总结的100多个pandas练习题,非常全面。

datacamp[13]

数据科学教程网站,里面有大量pandas的练习题,还提供了详细的速查表。

小结

pandas的教程主要还是以英文为主,国内翻译的质量参差不齐,还是建议你在入门后多去看英文文档,这是第一手资料,也是最靠谱的。

Reference

[1]

十分钟入门Pandas(英文版):https://pandas.pydata.org/docs/user_guide/10min.html

[2]

十分钟入门 Pandas | Pandas 中文:http://www.pypandas.cn/docs/getting_started/10min.html

[3]

利用Pandas进行数据分析:https://github.com/wesm/pydata-book

[4]

w3schools pandas tutorial:https://www.w3schools.com/python/pandas/default.asp

[5]

Learn Pandas Tutorials:https://www.kaggle.com/learn/pandas

[6]

joyful-pandas:https://github.com/datawhalechina/joyful-pandas

[7]

pandas用户指南:https://pandas.pydata.org/docs/user_guide/index.html#user-guide

[8]

pandas api检索:https://pandas.pydata.org/docs/reference/index.html#api

[9]

pandas-cookbook:https://github.com/jvns/pandas-cookbook

[10]

Python Data Science Handbook:https://jakevdp.github.io/PythonDataScienceHandbook/

[11]

Pandas练习集:https://github.com/guipsamora/pandas_exercises

[12]

101个Pandas练习:https://www.machinelearningplus.com/python/101-pandas-exercises-python/

[13]

datacamp:https://www.datacamp.com/community/tutorials


觉得还不错就给我一个小小的鼓励吧!


从手机通话降噪到AI会议神器:聊聊语音去噪技术的前世今生与落地实战 本文深入探讨了语音去噪技术的发展历程与实战应用,从硬件降噪到深度学习模型的演进,揭示了该技术如何提升通话质量和会议体验。重点分析了现代语音去噪技术的核心原理、行业落地案例及选型指南,为开发者提供实用参考。 阅读详情

相关推荐

从0到1学Pandas(一):Pandas 基础入门

本文系统讲解 Pandas 基础入门知识。首先概述 Pandas 库的定义、核心地位及与 “Panel Data” 的关联,介绍其高性能、灵活数据结构等特点及在金融分析、机器学习等领域的应用。接着详解环境配置步骤,包括 Python 和 Pandas 的安装与验证方法。随后聚焦 Series 和 DataFrame 两种核心数据结构,说明创建方式、操作及相互转换。最后阐述数据的读取(CSV、Excel 等)、导出方法及注意事项,为初学者构建 Pandas 入门知识框架,奠定数据分析实践基础。

邓邓子的博客 3080

pandas用法详解

一、生成数据表 1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用: import numpy as np import pandas as pd 2、导入CSV或者xlsx文件: df = pd.DataFrame(pd.read_csv(‘name.csv’,header=1)) df = pd.DataFrame(pd.read_excel(‘name.xlsx’)) 3、用pandas创建数据表: df = pd.DataFrame({“id”:[1001,1002,1003,

qq_36608036的博客 7653

医学影像处理实战:用SimpleITK将CT数据重采样到统一尺寸(附完整代码)

本文针对医学影像分析中多源CT数据尺寸不一致导致深度学习模型训练失败的问题,提供了基于SimpleITK的实战解决方案。通过深入解析图像尺寸与间距的关系,详细阐述了如何通过调整体素间距进行重采样,而非简单补零,从而在保持图像物理尺寸不变的前提下,将数据统一到固定尺寸,确保输入网络的3D数据空间对齐且解剖信息准确。

weixin_29062671的博客 273

Python数据分析基础技术之pandas(史上最全面)

pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。简单地说,你可以把 Pandas 看作是 Python 版的 Excel。 ...

薛定谔的猫-前端领域 7万+

STM32F030F4P6 ADC多通道定时器触发DMA搬运

主函数中等待转换完成的标志位,然后打印出来。ADC回调函数中将数值赋值给变量。配置定时器1s读一次。

qq_24426625的博客 1359

SerDes硬件设计原理介绍

接收端:外部差分串行数据------线性均衡器----(CDR从数据中恢复出采样时钟)-----解串器(串行信号转并行信号)-------8B/10B的解码器或解扰器-----FIFO-----FPGA接受差分并行数据。发送端: FPGA发送差分并行数据----FIFO------8B/10B编码器或者扰码器-----串行器(并行信号转串行信号)-----均衡器(滤波)--------TX串行信号差分外发。串行器:8bit的并行数据----2bit的并行数据----1bits的串行数据。

weixin_42304393的博客 1111

pandas库基础操作

https://i-blog.csdnimg.cn/direct/cb9976308aa64b50a09393987aadbdb6.png

2302_81096429的博客 1万+

深度学习图神经网络 (GNN) —— 处理图结构数据(六十九)

本文系统介绍了图神经网络(GNN)的核心概念、主流模型及其应用。主要内容包括: GNN基础:阐述了图结构数据的特性(节点数不定、连接不规则),以及GNN相比CNN/RNN的优势在于处理非欧式空间的图数据。 核心机制:重点讲解了消息传递框架(MPNN),通过聚合邻居信息迭代更新节点表示,并分析了GCN的归一化邻接矩阵计算和GAT的注意力权重机制。 典型模型: GCN:基于归一化邻接矩阵的特征传播 GAT:引入注意力机制区分邻居重要性 GraphSAGE:通过采样解决大图扩展性问题 GIN:理论表达能力最强的图

hello.reader 303

【Python】聊聊Pandas的前世今生

本文将从Python生态、Pandas历史背景、Pandas核心语法、Pandas学习资源四个方面去聊一聊Pandas,期望能带给大家一点启发。一、Python生态里的Pandas五月份T...

fengdu78的博客 728

【系统架构设计师-2025上半年真题】综合知识-参考答案及详解(75题完全回忆版)

【系统架构设计师-2025上半年真题】案例分析-参考答案及部分详解

数据知道的博客 1万+

智能手环嵌入式系统:STM32+ESP8266多传感器健康监护设计

可穿戴健康监测设备是物联网与边缘计算融合的典型应用,其核心在于多源生理信号采集、低功耗实时处理及安全云协同。基于光电容积脉搏波(PPG)的心率与血氧检测、NTC热敏电阻体温测量、加速度-角速度融合跌倒判据等技术,构成了老年健康监护的基础感知能力;而STM32主控与ESP8266协处理器分工架构,则实现了计算资源与通信负载的高效解耦。该方案依托FreeRTOS多任务调度、阿里云IoT物模型标准化交互及MQTT双向通信,兼顾实时性、可靠性和工程可维护性,广泛适用于居家养老、慢病管理与远程健康预警等场景。

weixin_33256096的博客 102

聊聊我的 Pandas 学习经历及动手实践

想入门人工智能或者数据分析,要重视可以快速上手的学习技能: 掌握一些基本概念,建立一个知识框架,然后就去实战,在实战中学习新知识,来填充这个框架。 我根据之前整理的一些pandas知识,总结了一个pandas的快速入门的知识框架。有了这些知识,然后去通过项目实战,然后再补充。希望能帮助大家快速上手。喜欢本文记得收藏、点赞、关注。我将这些资料整理成PDF版本,需要的可以问题找我获取。 推荐文章 李宏毅《机器学习》国语课程(2022)来了 有人把吴恩达老师的机器学习和深度学习做成了中文版 上瘾了,

Python学习与数据挖掘 1655

数据资产可视化分析:PowerBI在大数据管理中的实战

目的:帮你搞懂“为什么数据资产需要可视化?”“PowerBI能帮企业解决什么问题?”,并掌握用PowerBI做大数据可视化的实战技巧。范围:覆盖数据资产定义、可视化分析原理、PowerBI核心功能(数据连接、建模、可视化)、零售企业实战案例,以及未来趋势与挑战。背景:为什么企业的数据像乱堆的玩具?核心概念:数据资产、可视化分析、PowerBI分别是什么?它们怎么配合?实战步骤:用PowerBI帮零售企业整理“销售玩具箱”,做出能指导决策的仪表盘;应用场景:不同部门怎么用这个“整理好的玩具箱”?

2501_92132293的博客 907

从一次Pandas数据合并报错说起:聊聊DataFrame索引那些‘坑’与最佳实践

本文通过分析Pandas数据合并中的常见`IndexError`问题,深入探讨了DataFrame索引的隐藏行为和最佳实践。从合并操作的索引陷阱到多级索引的复杂应用,提供了七项构建稳健索引策略的黄金法则,帮助开发者避免常见错误并提升数据处理效率。

红太阳照大地 477

数据分享:中国历年省、市、县行政区划shp(1949~2023年共计75年)

中华人民共和国县级以上行政区沿革》(三册,1949-1983年)“The Atlas of Changes of Administrative Regions of China”;《中华人民共和国行政区划沿革地图集》The yearly publications of “The Administrative Regions”, 1985-2014;每年的出版行政区划简册(1985-2014年)行政区划网:www.xzqh.org。行政区划网:www.xzqh.org。

J_Giser的博客 3699

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【Pandas】Pandas日常工作的常用操作大全

Pandas

十一月廿七风雨大作 6917

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Pandas - JSON格式数据操作实践

今天咱们来聊聊Pandas这个数据分析利器在处理JSON数据时的妙用。JSON作为一种轻量级的数据交换格式,在Web开发和数据分析中无处不在。掌握Pandas与JSON的互转技巧,能让你在数据处理时事半功倍!

唐叔学习中... 1877

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Pandas - Python爬虫数据处理分析神器

Pandas是Python数据分析的核心库,本文由唐叔带你全面了解这个数据处理神器。文章从Pandas基础数据结构DataFrame和Series讲起,逐步深入到数据清洗、统计分析、可视化等实战技巧,最后通过电商销售数据分析案例展示Pandas的强大功能。无论你是数据分析新手还是希望提升技能的开发者,这篇文章都将成为你Pandas学习路上的得力助手。

唐叔学习中... 2330

如何将 Pandas Series 转换为 DataFrame?

Series是Pandas中的一维数组对象,类似于 Python 的字典(dict),但它是带有索引的。每个Series对象包含两个主要部分:数据和索引。# 创建一个简单的 Seriesprint(s)a 10b 20c 30d 40这里,是数据部分,是索引部分。DataFrame则是Pandas中的二维表格结构,类似于 Excel 表格或 SQL 表。它由多个Series组成,每一列都是一个Series。创建一个DataFrame})print(df)A B0 1 41 2 5。

cda2024的博客 895

用 PyCharm 玩转正 Pandas:从数据小白到表格高手的一天

本文分享了使用PyCharm学习Pandas数据分析的实用技巧。从安装Pandas开始,介绍了使用清华源加速下载的方法。重点讲解了Series和DataFrame两种核心数据结构,以及loc定位、head/tail/info查看数据、处理缺失值等关键操作。作者通过在PyCharm中实操课堂练习,展示了如何计算成绩、平均值等实际应用,并分享了遇到问题的解决过程。文章强调PyCharm的代码提示和报错功能对新手学习帮助很大,使数据处理变得简单直观。最后鼓励读者尝试处理更大规模的数据,并交流学习经验。

JYB0918的博客 1043

pandas fillna_利用 pandas 进行缺失值处理

pandas 是一个很酷炫的数据处理的工具。今天就来聊聊如何在数据处理的过程中,利用 pandas 进行缺失值的处理。一般我们使用 删除法,替补法和插补法进行处理。删除法如果数据中某个变量大部分都是缺失值,可以考虑删除变量如果缺失值是随机分布的,且缺失的数量并不是很多,可以考虑删除这些缺失的观测值替补法对于连续型变量,如果变量的分布近似或就是正态分布的话,可以用均值替代那些缺失值如果变量是有偏的,...

weixin_39786141的博客 403
上一篇: 上帝视角:程序员为什么需要理解 CPU?
下一篇: 趁老婆不在家,我把儿子带成了程序大神...
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值