左手pandas右手Excel,带你学习数据透视表

excel数据透视表与python中pandas使用pivot 文章目录Excel数据透视表操作数据透视表基本原理python中使用pandas的pivot函数 数据透视表是数据分析时的大招,可快速分类统计需要二次加工的信息,并生成相应的统计结果。下面通过一个实例直观体验一下。 Excel数据透视表操作 现在我们需要统计一个销售数据,想直到每种产品类别每个月的销售额是多少: 当然,我们可以采用筛选的方法,逐一筛选出每个产品类型的数据并进行求和,然而这种操作可能... 阅读详情

数据透视表是数据分析工作中经常会用到的一种工具。Excel本身具有强大的透视表功能,Python中pandas也有透视表的实现。本文使用两个工具对同一数据源进行相同的处理,旨在通过对比的方式,帮助读者加深对数据透视表的理解。

 

数据源简介:

本文数据源来自网络,很多介绍pandas的文章都使用了该数据。这是一份销售数据,数据样例如下:

在分析之前,需要确保你安装了pandas(最好使用jupyter)和Excel(2016版)。接下来每一个环节,我们都将使用二者实现同样的效果。Python代码的部分,我都做了详细的注释,Excel操作流程我也做了比较详细的说明。后台回复“透视表”可以获得数据和代码。

处理过程

目标1:读取数据,查看数据样例

1.pandas实现

#导入必要的包
import pandas as pd
import numpy as np                                                                                                                               
#读取Excel格式的数据
df = pd.read_excel('salesfunnel.xlsx')

#查看数据的前5行,如果要查看多行,可以用df.head(num),num为行数
df.head()

运行效果如下:

2.excel实现

直接打开文件即可查看数据。

目标2:使用行索引,查看每一个Name的Quality,price汇总数据

1.pandas实现

pd.pivot_table(df, index=['Name'])

运行结果:

当我们只指定index时,就是指定了行标签,pivot_table函数会默认按照平均值,汇总所有的数值字段。由于Account字段被pandas“理解”成了数值类型的(可以通过df.dtypes查看),所以结果中出现了Account列。上面的结果表示每个Name的Account,Price,Quantity的平均值。

2.Excel实现

选中数据区域,插入,数据透视表,将Name字段拉倒“行”区域,Account,Price,Quantity拉入“值”区域,并将三者的字段汇总方式设置为平均值。整个步骤的流程及运行结果如下图所示:



可以看到Excel默认会有一个汇总行。以Quantity为例,它的“总计”值是所有的Quantity求和之后,除以Name的个数。如果想用Pandas实现这种效果,可以加入margins=True参数,效果如下,出现了All行,由于Account和Price是整数,所以all行也是整数,Quantity是小数,相应的All行也是小数。Excel的总计行也可以在“设计”选项卡,“总计”,“对行和列禁用去掉”。

目标3:使用多个行索引,查看每个Manager的每个Rep对应的Account,Price,Quantity汇总值

1.pandas实现

pd.pivot_table(df, index=['Manager', 'Rep'], margins=True)

运行效果如下:

2.Excel实现

在前面基础上,将Manager,Rep拉到“行”的位置即可。效果如下图,可以看到,在关键的数值上,两个结果是一致的,只是在形式上有所不同。

为了在形式上更接近pandas的结果,可以设置透视表的布局。选择“设计”选项卡,报表布局,选择“大纲形式显示”即可,效果如上图所示。

仔细观察,发现excel里对每一个Manager都做了汇总。这个可以通过“设计”选项卡,“分类汇总”,“不显示分类汇总”去掉。pandas如何实现分类汇总,这个暂时还没有找到相关资料。

目标4:设置我们关心的汇总字段,此处设置price,去掉Account和Quantity

1.pandas实现

pd.pivot_table(df, index=['Manager', 'Rep'], values=['Price'], margins=True)

结果如下图左侧所示:

2.Excel实现

Excel中只需要在上面的基础上,在“值”的地方删掉Account,Quality即可。效果如上图右侧图所示。

目标5:实现对Price的求和

1.Pandas实现

pd.pivot_table(df, index=['Manager', 'Rep'], values=['Price'], aggfunc=np.sum,  margins=True)

效果如下图左图所示:

2.Excel实现

需要在上一步的基础上,将Price的值字段设置改成求和即可,如上图右图中图所示。结果如上图中间所示。

注:Pandas可以同时对一个字段进行多种汇总操作,(Excel貌似不行)

pd.pivot_table(df, index=['Manager', 'Rep'], values=['Price'], aggfunc=[np.sum, np.size] margins=True)#np.size可以换成len,效果一致

目标6: 使用列索引,查看不同产品的数据情况

1、pandas实现

pd.pivot_table(df, index=['Manager', 'Rep'], columns=['Product'], values=['Price'], aggfunc=np.sum, margins=True)

结果如下图所示:

2.Excel实现

在上面的基础上,将Product拉到“列”的位置即可。

可以看到,有些位置没有对应的值,Pandas默认用NaN填充,Excel则采用置空处理。Pandas可以增加fill_value参数设置为0。(Excel貌似不可以设置)

pd.pivot_table(df, index=['Manager', 'Rep'], columns=['Product'], values=['Price'], aggfunc=np.sum, margins=True, fill_value=0)

目标7:使用行索引和列索引,同时查看多个字段(Price,Quality)的汇总值

1.Pandas实现

pd.pivot_table(df, index=['Manager', 'Rep'], columns=['Product'], values=['Price', 'Quantity'], aggfunc=np.sum, margins=True, fill_value=0)

2.Excel实现

在上面的基础上,只需在“值”的位置加入Quantity,并将值字段设置为“求和”即可。值得一提的是,可以通过“列”的位置,“数值”和“Product”的上下关系,控制显示的格式,下面显示的结果和pandas的结果一致,读者可以调整下看看效果。

目标8:行列索引的转换,把Product由列索引改为行索引

1.pandas实现

pd.pivot_table(df, index=['Manager', 'Rep', 'Product'], values=['Price', 'Quantity'], aggfunc=np.sum, margins=True, fill_value=0)

2.Excel实现

在上一步的基础上,将Product从“列”位置拖到“行”位置即可。

目标9:对Price和Quantity使用不同的汇总方式

1.pandas实现

通过字典的方式,为不同的字段传入不同的聚合函数。

pd.pivot_table(df, index=['Manager', 'Rep'], columns=['Product'], values=['Price', 'Quantity'], aggfunc={'Price': np.sum, 'Quantity': np.size}, margins=True, fill_value=0)

2.Excel 实现

只需在目标7的基础上,将Price和Quantity的值字段设置成相应的聚合方式即可。如下图所示。

注:同一个字段可以用列表方式传多个函数。

pd.pivot_table(df, index=['Manager', 'Rep'], columns=['Product'], values=['Quantity', 'Price'], aggfunc={'Quantity':np.size, 'Price': [np.sum, np.mean] }, fill_value=0)

目标10:实现透视表筛选功能,只查看Debra Henley的数据

1.pandas实现

table = pd.pivot_table(df, index=['Manager', 'Rep'], columns=['Product'], values=['Price', 'Quantity'], aggfunc={'Price': np.sum, 'Quantity': np.size}, margins=True, fill_value=0)
table.query('Manager == ["Debra Henley"]')

使用query传入筛选的参数即可,列表里可以传入多个参数,如 table.query('Rep == ["Craig Booker", "John Smith"]')

2.excel实现

做好的数据透视表,具有行和列的筛选功能。我们在9的基础上,对manager进行筛选,保留Debra Henley即可。效果如下所示:


也可以将manager字段拉到“筛选器”的位置来实现,再选择Manager的值为Debra Henley即可。

小结与备忘:

index-对应透视表的“行”,columns对应透视表的列,values对应透视表的‘值’,aggfunc对应值的汇总方式。用图形表示如下:

后台回复“透视表”,可获得本文代码与数据。本文参考链接:

https://www.cnblogs.com/onemorepoint/p/8425300.html


(完)

python数据分析基础010 -利用pandas带你玩转excel表格(终篇) 带你玩转excel表格,建议收藏!! 阅读详情

相关推荐

sales-funnel.xlsx

pivot_table数据资源,可以用于参考pivot_table的练习资源,非常不错的的表格,大家可以下载

左手pandas右手Python,带你学习数据透视表

点击上方“超哥的杂货铺”,轻松关注数据透视表是数据分析工作中经常会用到的一种工具。Excel本身具有强大的透视表功能,Python中pandas也有透视表的实现。本文使用...

hitchenghengchao的博客 323

C++学习(四六六)Multiple parse contexts are available for this file

Note: Multiple parse contexts are available for this file. Choose the preferred one from the editor menu 参考: "Multiple parse contexts" in Qt creator | Qt ForumHi Do you use sessions? https://bugreports.qt.io/browse/QTCREATORBUG-18521 Anyway, its not.

hankern的专栏 4610

pandas实现分类汇总--小计,总计

有一批数据需要分类汇总和总计,看了一下pandas的groupby,可以实现。具体思路:先分组,分组后计算改分类的汇总小计,然后对dataframe进行拼接;分类汇总计算好了之后,计算总体的汇总,然后在进行拼接 具体代码: def gen_pivot_table(): df = pd.read_excel(os.path.join(BASE_DIR, EXCEL_FILE_FROM)) last_total_df = calculation_total(df, ["页面展示pv", "页面

python_tty的专栏 1万+

(实战)[re:Invent 2018]-001:赛道分析-(致敬1024)

打印log

Rainbow 2784

Authentication Assertion Tickets,SAP 系统到系统单点登录里的短命凭证

SAP 系统间的身份传递机制存在 Authentication Assertion Ticket 和 SAP Logon Ticket 两种易混淆的凭证。前者用于系统间短时身份委托(有效期2分钟,通过HTTP头传输),后者用于浏览器SSO(可配置有效期,通过Cookie传输)。Assertion Ticket依赖签发系统的数字签名和严格的时间同步,适用于ABAP/Java系统间的后台作业调用。现代SAP架构已转向OAuth 2.0等标准协议,但老系统中仍需注意两种票据的关键差异:传输方式、有效期、接收方限制

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 603

利用excel与Pandas完成实现数据透视表(文末赠书)

文末赠书 数据透视表是一种分类汇总数据的方法。本文章将会介绍如何用Pandas完成数据透视表的制作和常用操作。1,制作数据透视表制作数据透视表的时候,要确定这几个部分:行字段、列字段、数据区,汇总函数。数据透视表的结构如图1所示。图1数据透视表的结构Excel制作数据透视表很简单,选中表格数据,并点击工具栏上的“数据透视表”菜单即可,如图2所示。图2 Excel制作数据透视表...

Python数据之道 1327

vs2017配置liblas库+测试代码

之前已经配置好pcl(vs2017配置pcl),可以单独配置liblas,也可以在原有pcl属性表的基础上继续配置

孙悟空 4023

python数据透视表像excel小记_不用羡慕Excel,Python数据处理pandas包同样有透视表...

发现许多小伙伴入门Python几个月,还是低效率做数据处理。这套课程以形象的示意图,精心安排的案例,循序渐进带你玩转数据处理分析神器——pandas,课程中还有分析案例噢,干货满满!前言用过 Excel 的小伙伴都知道 Excel 有一数据神器——数据透视表,透视表可以快速灵活对数据进行多维度的统计汇总。pandas 中同样有透视表的操作,当然,比起手工操作的 Excel 透视表,pandas 中...

weixin_39609503的博客 465

【WorkBuddy专栏25】如何选择大模型——积分消耗、用途场景、选型决策全指南

【WorkBuddy专栏25】如何选择大模型——积分消耗、用途场景、选型决策全指南

AI人人懂 957

SAP-ABAP:SAP系统调优利器:RZ11动态参数修改全指南

SAP系统调优利器:RZ11动态参数修改全指南

baidu_35680696的博客 970

Pandas学习笔记05-分组统计与数据透视表

对数据集进行分类,并在每组数据上进行聚合操作,是非常常见的数据处理,类似excel里的分组统计或数据透视表功能。 pandas提供了比较灵活的groupby分组接口,同时我们也可以使用pivot_table进行透视处理。 1.分组 分组函数groupby,对某列数据进行分组,返回一个Groupby对象。 在进行groupby分组后,我们可以对分组对象进行各种操作,比如求分组平均值mean() 很多时候,我们需要返回dataframe型数据进行二次操作 size()方法可以获取各分组的大小 遍历分组

可以叫我才哥 762

Allegro因为精度问题导致走线连接不上的解决办法

在用Allegro做PCB设计的时候,尤其是从其它单板上导数据过来的时候,有时会因为精度不一致导致连接不上,如下图。一般来说,可以逐个重新连接一下,但是如果连接点位比较多的话,需要花费较多时间。下面介绍如何使用Allegro自带的功能解决这个问题,具体操作如下。和Convert Figure Stackups to vias。因为精度问题导致走线连接不上的解决办法。线和过孔因为精度有微小的连接偏差。

weixin_54787054的博客 2614

左手pandas右手Python,带你学习数据透视表!

第一时间获取价值内容 数据透视表是数据分析工作中经常会用到的一种工具。 Excel本身具有强大的透视表功能,Python中pandas也有透视表的实现。 本文使用两个工具对同一数据源进行相同的处理,旨在通过对比的方式,帮助读者加深对数据透视表的理解。 数据源简介: 本文数据源来自网络,很多介绍pandas的文章都使用了该数据。 这是一份销售数据,数据样例如下: Py...

Pythoncxy的博客 466

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

对比excel,学习pandas数据透视表

1、excel中做数据透视表 1)步骤如下 ① 选中整个数据源; ② 依次点击“插入”—“数据透视表” ③ 选择在Excel中的哪个位置,插入数据透视表 ④ 然后根据实际需求,从不同维度展示结果 ⑤ 结果如下 2、pandas中使用pivot_table()做数据透视表 1)语法格式 pd.pivot_table(data,index=None,columns=None, ...

数据分析与统计学之美 1926

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Pandas的pivot_table函数(数据透视表)

Pandas的pivot_table函数(数据透视表)index指定单索引指定多索引valuesaggfunccolumnsfill_value数据透视表过滤 pivot_table() 的特点就是默认显示指定索引列和所有数值列。 索引显示的是唯一值,所以会把对应的数值处理成均值。其他str类型的列都会自动忽略。 当然,使用pivot_table() 时,可以通过添加参数进行计数或求和 示例中账号是int类型,如果是str类型,那么运行结果不会显示[‘账号’]这一列的内容。 import numpy as

qq_55342245的博客 6万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

左手Python右手Excel,玩转数据透视表哪家强?

形象点来说, 数据透视表就像一个万花筒,通过旋转这个特别的万花筒,可以从中获得不断变化的事物细节,但是事物的本身其实并未发生变化,数据透视表这个特别的万花筒只是一个工具,只不过通过该工具可以获得普通事物的独特视图。简单来说,数据透视表可以从不同角度对相同的数据进行处理和分析,以查看不同层面的数据结果,从而得到想要的数据信息。在上图中每一列的第一个单元格内容都为该列的数据分类,在生成数据透视表后,这些数据就是我们所说的字段。接下来是年份的设置,大家可以看到最终的结果图是将年份内容设置到了列上。

Python宋宋的专栏 582

数据透视表:Excel 和 Pandas 的用法及案例

用户界面Excel:图形用户界面,适合非编程用户。Pandas:基于代码,适合编程用户,灵活性更高。数据处理能力Excel:适合中小型数据集。Pandas:适合大型数据集,性能更好。可重复性和自动化Excel:手动操作,难以自动化。Pandas:代码可重复使用,容易自动化。

xinlinliu 1370

利用excel与Pandas完成实现数据透视表

数据透视表是一种分类汇总数据的方法。本文章将会介绍如何用Pandas完成数据透视表的制作和常用操作。

2401_86168842的博客 1159
上一篇: PyCharm 2019.3发布,增加了哪些新功能呢?
下一篇: GitHub 标星 1.6w+,我发现了一个宝藏项目,作为编程新手有福了!
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值