告别痛苦,快乐学习Pandas!开源教程《Joyful-Pandas》发布

joyful pandas第1章 Pandas基础 第1章 Pandas基础Learning Objective理论部分一、文件读取与写入1. 读取(a)csv格式(b)txt格式(c)xls或xlsx格式2. 写入(a)csv格式(b)xls或xlsx格式 Learning Objective Task01:Pandas基础(1天) 理论部分 掌握常见文件格式的读写操作 理解并熟悉 Series 和 DataFrame 的重要属性和重要方法 掌... 阅读详情

 Datawhale 

作者:耿远昊、Datawhale团队

寄语:Pandas 是基于Numpy的一种工具,是为了解决数据分析任务而创建的,其纳入了大量库和一些标准的数据模型,提供了大量能使我们快速便捷地处理数据的函数和方法。

Datawhale又一开源项目来了!Joyful-Pandas(顾名思义:快乐学习Pandas)由Datawhale成员耿远昊发起,作者结合了三份经典教材的学习经验,历时2个多月时间,结合最新的Pandas版本,编写了这套关于Pandas的开源教程,梳理了Pandas的主线内容。

本项目从Pandas基础、数据分析方法、数据处理类型及动手实践四个模块,对Pandas进行系统性学习。同时,针对内容设计了大量的练习及案例,理论结合实践,巩固数据处理分析能力。

开源初衷

在使用Pandas之前,几乎所有的大型表格处理问题都是用xlrd/xlwt和python循环实现,虽然这已经几乎能完成一切的需求,但其缺点也显而易见,其一就是速度问题,其二就是代码的复用性几乎为0。

曾经也尝试过去零星地学Pandas,但不得不说这个包实在太过庞大,每次使用总觉得盲人摸象,每个函数的参数也很多,学习的路线并不是十分平缓。如果你刚刚手上使用Pandas,那么在碎片的学习过程中,报错是常常发生的事,并且很难修(因为不理解内部的操作),即使修好了下次又不会,令人有些沮丧。

2019年秋季,笔者偶然接触到了Theodore Petrou所著的《Pandas Cookbook》。快速地学习了一遍后,发现之前很多搞不清的概念得到了较好的解答。

之后,笔者又逐步地对着官方的User Guide一字一句查看,通读后建立了大的一些宏观概念。这是一个非常重要的台阶,官方的教程总是会告诉你重点在哪里。

经过了一段时间的思考,结合《Python for Data Analysis》(作者:Pandas之父)、《Pandas Cookbook》和官方的User Guide,按照自己的思路编写了一套关于Pandas的教程,完整梳理Pandas的主线内容。

本着杜绝浅尝辄止的理念,本教程涉及了每个部分的核心概念和函数。最后,希望达到“所写所得即所想”的境界,这大概需要更多的实践,也是笔者努力实现的目标方向。

关于项目的名字,笔者在原先使用Pandas时非常的痛苦(Painful),那现在是时候转变为“Joyful-Pandas”了!

开源内容

Joyful-Pandas共有11个章节,分成了4个模块,涵盖了Pandas基础内容,数据处理过程中常用的数据类型,及在处理过程中涉及到的操作。具体目录详情如下:

模块1 Pandas基础(第1章)

拿到数据后必然先要读取,分析完了数据必然是要保存;读取数据之后,我们面对了怎样的对象(Series? or Dataframe?)是第一重要的课题,因此了解序列和数据框的常规操作及其组件(component)便是必须涉及的内容。

模块2 数据分析方法(第2-5章)

对于一个Series或DataFrame而言,Pandas存在以下四种操作:

  • 索引:如果一个操作使得它的元素信息减少了,那就对应了索引;

  • 分组:数据被分组,从组内提取了关键的信息,使得数据信息被充分地使用;

  • 变形:数据呈现结构或形态上的变化,使得我们更容易地能够地进一步处理数据;

  • 合并:如果一个操作使得原本不属于这个数据框的信息被加入了进来,那往往是涉及到了合并操作。

笔者从数据信息增减的角度出发,将四类操作拆解成了3个板块,分别对应了本项目第2-5章的内容,串联了官方文档关于数据框操作的全部内容,帮助学习者系统梳理。

模块3 数据处理类型(第6-9章)

对序列和数据框这两种容器,Pandas基础对其的结构有了初步理解,而四种操作熟悉了所有相关操作,那么下面就要关心其中的数据类型。

其中涉及来四类特殊的数据类型:

  • 缺失型数据

  • 文本型数据

  • 分类型数据

  • 时间序列型数据

四种数据类型,分别对应了6-9章的内容。同时,在缺失型数据和文本型数据中,详细涉及Pandas1.0版本新的Nullable和string数据类型,这也是从Pandas 0.x升级后具有最大改动的方面。

模块4 动手实践(第10章)

最终,教程1-9章的最后都会加入两个练习题帮助读者巩固本章所学,每一道题都有多个小问,难度逐个上升,与知识点紧密结合。同时在第10章中会添加若干难度不一的综合问题,目前已添加两个经典案例,供大家学习实践。

最后,所有的练习都提供了参考答案,保证了完备性。

写到最后

除了教程主体和练习内容,每一章还加入了问题部分。每个章节设置3-8个问题,问题的内容包含了对知识点的细化认识、对复杂知识点的梳理、对某个函数或Pandas对象设计的思考等,如果在完成练习的基础上认真思考了这些问题,那么相信你对Pandas的掌握程度一定会再上一层楼,最后衷心的希望你能快乐的学习Pandas,体验用Pandas进行数据处理和分析的乐趣。

开源地址

https://github.com/datawhalechina/joyful-pandas(或阅读原文)

【编程实践】Joyful-Pandas(下)Task02(第七章):文本数据 【编程实践】Joyful-Pandas(下)Task02(第七章):文本数据string类型的性质string与object的区别String类型的转换拆分与拼接str.split方法分割符与str的位置元素选取其他参数str.cat方法不同对象的拼接模式cat中的索引对齐替换子串匹配与提取常用字符串方法问题与练习问题练习 缺失数据和文本数据(尤其是混杂性文本)是数据预处理中比较麻烦的类型,本章节聚焦于文本数据。 理论部分 掌握基本正则表达式的用法 理解string类型的性质 掌握文本类型的5类操作 熟悉 阅读详情

相关推荐

python数据分析pandas快速入门教程.pdf

python数据分析pandas快速入门教程,电子版书籍,带你学习python使用pandas数据处理

深入理解Cloud Foundry健康管理:Health Manager工作原理解析

Cloud Foundry作为领先的开源PaaS平台,其健康管理组件Health Manager是保障应用高可用性的核心机制。本文将全面解析Health Manager的工作原理、核心功能及配置方式,帮助开发者掌握Cloud Foundry应用的健康监控与自动恢复机制。 ## Health Manager核心功能与架构 Health Manager(简称HM)是Cloud Foundry的关键

gitblog_00041的博客 564

STM32+4G模块+MQTT协议:从零构建稳定可靠的物联网通讯链路

本文详细介绍了如何利用STM32、4G模块和MQTT协议构建稳定可靠的物联网通讯链路。通过硬件选型、AT指令配置和MQTT连接实战,帮助开发者实现低功耗、高可靠性的数据传输,特别适合户外和移动场景应用。

weixin_29191081的博客 334

pandas官方文档_告别痛苦,快乐学习Pandas!开源教程《Joyful-Pandas》发布

作者:耿远昊、Datawhale团队寄语:Pandas 是基于Numpy的一种工具,是为了解决数据分析任务而创建的,其纳入了大量库和一些标准的数据模型,提供了大量能使我们快速便捷地处理数据的函数和方法。Datawhale又一开源项目来了!Joyful-Pandas(顾名思义:快乐学习Pandas)由Datawhale成员耿远昊发起,作者结合了三份经典教材的学习经验,历时2个多月时间,结合最新的Pa...

weixin_39965075的博客 121

龙迅LT9611UXC芯片简介:Dual-Port MIPI DSI/CSI to HDMI2.0 with Audio

龙迅半导体推出的LT9611UXC是一款高性能MIPI转HDMI2.0转换器,支持DSI/CSI接口转换,兼容多种视频格式(RGB/YCbCr),最高支持4K@60Hz输出。该芯片集成音频处理(I2S/SPDIF)、色彩空间转换和3D功能,适用于机顶盒、电视盒子等消费电子及车载设备。提供工业级(-40℃~+85℃)和车规级(AEC-Q100认证)版本,采用QFN64封装。

MB16698594834的博客 1335

tree_sitter多语言解析器配置实战指南

本文是一份详细的Tree-sitter多语言解析器配置实战指南。文章从零开始,手把手指导如何搭建Python环境、安装指定版本的tree-sitter库、下载并编译多种语言的语法规则,最终构建一个统一的解析器库。通过实战代码演示了如何初始化解析器、解析代码并遍历语法树,旨在帮助开发者高效处理多语言代码分析任务,并分享了高级技巧与常见问题排坑经验。

weixin_29245767的博客 268

Pandas 神书!历时两年,Datawhale开源项目“熊猫书”重磅出版!

当然,对pandas有一定的基础,并且想要系统学习数据处理与分析方法的读者,也能从中获益,巩固和拓展自己的相关知识。耿远昊以自己的亲身体验出发而写的《pandas数据处理与分析》,其实就是许多初学者想要的:对庞杂的pandas知识体系进行剖析和梳理,找出一条由浅入深的学习路线,找出关键的函数方法,通过理论和实践的有效结合,帮助自己轻松地学习pandas。经过一段时间的思考,他决定自己编写一套关于pandas的教程,希望为有着相似痛苦体验的人提供一些帮助,让pandas的学习和使用变得更轻松。

2401_86168842的博客 1289

同花顺 python量化交易_开启量化第一步!同花顺iFinD数据接口免费版简易操作教程...

来源:雪球App,作者: 同花顺-iFinD,(https://xueqiu.com/6706494343/141951051)金融市场波动频繁,投资往往会夹杂非理性的情绪。而量化交易,旨在以先进的数学模型替代人为的主观判断,利用计算机技术从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略,辅助投资者进行理性投资。不过计算机分析存在一定的技术门槛,有没有简单易学的量化交易方式,能够...

weixin_35911805的博客 2万+

熊猫书来了!最全的pandas介绍!

当然,对pandas有一定的基础,并且想要系统学习数据处理与分析方法的读者,也能从中获益,巩固和拓展自己的相关知识。耿远昊以自己的亲身体验出发而写的《pandas数据处理与分析》,其实就是许多初学者想要的:对庞杂的pandas知识体系进行剖析和梳理,找出一条由浅入深的学习路线,找出关键的函数方法,通过理论和实践的有效结合,帮助自己轻松地学习pandas。经过一段时间的思考,他决定自己编写一套关于pandas的教程,希望为有着相似痛苦体验的人提供一些帮助,让pandas的学习和使用变得更轻松。

2401_86168842的博客 960

【CIC-IDS数据集+机器学习】实现网络流量异常检测

本项目基于CIC-IDS数据集,使用多种机器学习算法实现网络流量异常检测系统。项目采用了完整的机器学习工作流程,从数据预处理到模型部署,实现了高精度的网络入侵检测。

XiaoMu_001的博客 1936

如何使用Dify 搭建一个用自然语言查询数据库的 Agent?

这样就会发布完毕。

AI Agent 首席体验官 1699

深入解析《Joyful Pandas》:一本值得拥有的Pandas数据处理实战指南

在数据科学和数据分析领域,Pandas(Python Data Analysis Library)已经成为事实上的标准数据处理工具。然而,很多学习者在掌握Pandas时会遇到这样的困境: > "官方文档太晦涩,网上教程太零散,实战案例太少,学完还是不会用!" 《Joyful Pandas》正是为了解决这些痛点而生的中文教程。它不仅被pandas官方选为[社区推荐教程](https://pand...

gitblog_00315的博客 453

STM32F030F4P6实战:LL库+DMA驱动WS2812全流程(附避坑指南)

本文详细介绍了如何使用STM32F030F4P6的LL库和DMA驱动WS2812 LED灯带的全流程,包括硬件选型、CubeMX配置、LL库与DMA关键实现、数据格式转换及调试技巧。特别提供了避坑指南,帮助开发者避免常见错误,提升开发效率。

weixin_29194693的博客 484

Joyful Pandas的数据处理与分析:从入门到精通的完整指南

在数据科学和数据分析领域,数据处理是至关重要的一环。你是否曾经遇到过这样的困境: - 面对海量的CSV、Excel数据文件,手动处理效率低下? - 需要快速进行数据清洗、转换和分析,但不知道从何入手? - 想要进行复杂的数据聚合和统计计算,但传统工具力不从心? Pandas(Python Data Analysis Library)正是为了解决这些问题而生的强大工具。作为Python生态系统中...

gitblog_00910的博客 545

[南大ICS]PA1 - 开天辟地的篇章: 最简单的计算机

task PA1.1: 实现单步执行, 打印寄存器状态, 扫描内存 task PA1.2: 实现算术表达式求值 task PA1.3: 实现所有要求, 提交完整的实验报告

qq_42474104的博客 1571

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Joyful-Pandas - pandas(2)

请注意,对于 Series 的前两个元素(1 和 2),由于无法形成完整的三个元素窗口,所以在默认情况下,对这些位置的任何滚动计算都会返回 NaN(不是数字)。对于第一个和第二个窗口,没有足够的元素来形成完整的三个元素窗口,所以这些位置的结果可能是 NaN(取决于 apply 方法的具体实现)。函数是完全对称的,它们用于根据条件来替换数据,但替换的方向是相反的,同时,它们还可以用于在不指定替换值时将数据替换为缺失值。在传入条件的方向上是完全对称的,如果不指定替换值,默认会将满足条件的元素替换为缺失值。

Jerry的博客 1625

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

pandas基础笔记01|joyful Pandas学习

all 指当序列元素 全为 True 或非零元素时返回 True ,否则返回 False。#默认的是元组中不存在0,空字符none是都为True,其他的都为False。*当数组维度为1维时,可以直接进行布尔索引,而无需 np.ix_ *被调用数组的大小是确定的允许有一个维度存在空缺,此时填充-1即可。#根据给定的维度和数值类型返回一个新的数组,其元素不进行初始化。两个数组维度完全一致的时候,使用对应的元素的操作。随机整数组:np.random.randint。对A中的每个元素更新生成矩阵B,更新的方法是。

m0_52024881的博客 770

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

JoyfulPandas 第一章 预备知识

joyfulpandas首页:http://inter.joyfulpandas.datawhale.club/Home.html 一、Python基础 1.列表推导式与条件赋值 在生成一个数字序列的时候,在Python中可以如下写出: L = [] def my_func(x): return 2*x for i in range(5): L.append(my_func(i)) L [0, 2, 4, 6, 8] 事实上可以利用列表推导式进行写法上的简化:[* for i i.

胖虎卖汤圆的博客 502

Joyful-Pandas 技术文档

Joyful-Pandas 技术文档 【免费下载链接】joyful-pandas pandas中文教程 项目地址: https://gitcode.com/datawhalechina/joyful-pandas ...

gitblog_01407的博客 392

掌握Joyful Pandas的终极指南:10个避免常见错误的最佳实践

Joyful Pandas是一个专门为中文用户设计的pandas数据处理教程项目,旨在帮助数据分析师和Python开发者更高效地使用pandas库进行数据清洗、转换和分析。在前100个字的介绍中,我们已经明确了Joyful Pandas的核心价值——提供实用的pandas最佳实践指导。 ## 🔍 为什么需要Joyful Pandas最佳实践? 在数据分析项目中,pandas是最常用的工具之一

gitblog_00576的博客 744

Joyful Pandas中的高级功能:解锁数据处理新境界

> 还在为大数据处理性能瓶颈而烦恼?本文将带你深入探索Joyful Pandas的高级功能,从多进程加速到Cython优化,全面提升你的数据处理效率! ## 读完本文你将掌握 - ???? **多进程并行处理**技术,大幅提升大数据处理速度 - ⚡ **Cython编译优化**方法,让Python代码运行如飞 - ???? **Numba即时编译**技巧,实现数值计算性能飞跃 - ???? **高级分组聚...

gitblog_01126的博客 389
上一篇: 工作流一目了然,小姐姐用动图展示 10 大 Git 命令
下一篇: 数据挖掘入门指南!!!
Wang_AI
博客等级 码龄12年 996粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值