入门Pandas不可不知的技巧

df.describe() 详解+用法+示例 Python 3.8.8 (default, Apr 13 2021, 15:08:03) [MSC v.1916 64 bit (AMD64)] Type 'copyright', 'credits' or 'license' for more information IPython 7.22.0 -- An enhanced Interactive Python. Type '?' for help. PyDev console: using IPython 7.22.0 Python 3.8.8 (d 阅读详情

大家好,我是阳哥。

今天来跟大家分享 Pandas 的一些常用知识点,文章内容由公众号读者 Peter 创作。

如果你用 Python 做数据分析,必然会绕不过 Pandas 的使用,实际上, Python 也是由于 numpy、pandas 等数据科学库的出现,才开始在数据科学领域实现了快速的发展,因此,学好 Pandas 有很重要的现实意义。

本文总结自己经常使用的pandas操作方法:

  • 创建DataFrame数据

  • 查看数据相关信息

  • 查看头尾文件

  • 花样取数

  • 切片取数

  • 常见函数使用

首先,导入包

import pandas as pd
import numpy as np

01 创建DataFrame数据

方式1:通过字典直接创建

df1 = pd.DataFrame({
    "name":["小明","小红","小孙","王小","关宇","刘蓓","张菲"],
    "age":[20,18,27,20,28,18,25],
    "sex":["男","女","男","男","男","女","女"],
    "score":[669,570,642,590,601,619,701],
    "address":["北京","深圳","广州","武汉","深圳","广州","长沙"]
})

df1

数据如下图:

方式2:通过本地数据读取

从本地文件中读取进来。现在本地有一个文件:学生信息.xlsx直接通过pd.read_excel()读进来:

df2 = pd.read_excel("学生信息.xlsx")
df2

可以看到效果和上面是一样的

02 数据探索

查看数据shape

shape表示数据是由多少行和列组成:

df1.shape  # (7,5)

查看字段属性名称

df1.columns

查看属性的数据类型

df1.dtypes

可以看到只有两种数据类型:int64和object

查看数据是否缺失

df1.isnull()   # 如果缺失显示为True,否则显示False
df1.isnull().sum() # 统计缺失值的个数。一个True计数一次

结果显示:本次数据是没有缺失值的

查看数据行索引

df1.index

查看数据描述信息

df1.describe

查看数据统计值

统计值信息只会显示类型为数值型的数据统计值信息:

df1.describe()

统计值的结果包含:个数count、均值mean、方差std、最值min\max、四分位数25%、中位数50%、四分之三分位数75%。

03 查看头尾文件

通过head和tail方法能够快速查看数据的头尾文件。

head

df1.head()   # 默认是查看前5行数据
df1.head(3)  # 指定显示的行数

tail

df1.tail()    # 默认尾部5行
df1.tail(3)   # 指定尾部3行数据

04 花样取数

从pandas的DataFrame数据框中取出我们想要的数据,然后进行处理

取出某个字段的数据

我们取出name这列的数据:

name = df1["name"]
name

# 结果
0    小明
1    小红
2    小孙
3    王小
4    关宇
5    刘蓓
6    张菲
Name: name, dtype: object

取出多个字段的数据

比如我们取出name和age列的数据:

name_age = df1[["name","age"]]  
name_age

# 结果
  name age
0 小明 20
1 小红 18
2 小孙 27
3 王小 20
4 关宇 28
5 刘蓓 18
6 张菲 25

根据字段类型选择数据

比如,我们想选择字段类型为int64的数据,通过查看的字段数据类型显示:age和score都是int64类型

1、选择单个数据类型
# 1、选择单个数据类型

df1.select_dtypes(include='int64')

# 结果
  age score
0 20 669
1 18 570
2 27 642
3 20 590
4 28 601
5 18 619
6 25 701
2、同时选择多个类型
df1.select_dtypes(include=['int64','object'])

# 结果
  name  age sex score address
0 小明  20  男 669    北京
1 小红  18  女 570    深圳
2 小孙  27  男 642    广州
3 王小  20  男 590    武汉
4 关宇  28  男 601    深圳
5 刘蓓  18  女 619    广州
6 张菲  25  女 701    长沙

因为数据中只有int64,object,所以我们全部选出来了。

3、选择排除某些数据类型之外的数据:
# 选择除了int64类型之外的数据
# 排除name和score字段之外的数据
df1.select_dtypes(exclude='int64') 

# 结果
  name sex address
0 小明 男   北京
1 小红 女   深圳
2 小孙 男   广州
3 王小 男   武汉
4 关宇 男   深圳
5 刘蓓 女   广州
6 张菲 女   长沙

根据数值大小取数

1、直接通过判断大小来取数:
df1[df1["age"] == 20]  # 年龄等于20
df1[df1["age"] != 20]  # 年龄不等于20
df1[df1["age"] >= 20]  # 年龄大于等于20
2、多个判断条件连用

第一次使用上面的方法报错:关键词是ambiguous。判断条件很让pandas混淆,改成下面的写法成功解决:

df1[(df1["age"] >= 20) & (df1["age"] < 27)]

根据字符串取数

1、通过单个条件取数
# 1、单条数据
df1[df1["name"] == "小明"]  

# 结果
  name  age sex  score address
0 小明  20  男   669   北京

2、通过多个条件取数

选择姓名是小明,或者年龄大于25的数据

df1[(df1["name"] == "小明") | (df1["age"] > 25)]

# 结果
  name  age sex  score address
0 小明  20  男  669   北京
2 小孙  27  男  642   广州
4 关宇  28  男  601   深圳
3、字符串的开始、结尾、包含函数
  • str.startswith(string)

  • str.endswith(string)

  • str.contains(string)

# 1、取出以“小”开头的姓名
df1[df1["name"].str.startswith("小")]  # name以"小"开头

# 结果
 name  age sex  score address
0 小明 20 男    669 北京
1 小红 18 女    570 深圳
2 小孙 27 男    642 广州
# 以“关”开始
df1[df1["name"].str.startswith("关")]

# 结果
 name  age sex  score address
4 关宇 28 男    601 深圳
# 3、以“菲”结尾
df1[df1["name"].str.endswith("菲")]

# 结果
  name  age sex  score address
6 张菲  25  女   701   长沙
# 取出包含“小”的数据:不管小是在开头,还是结尾都会被选出来
df1[df1["name"].str.contains("小")]

# 结果

  name  age sex  score address
0 小明  20  男  669  北京
1 小红  18  女  570  深圳
2 小孙  27  男  642  广州
3 王小  20  男  590  武汉

上面的王小不是小开头,但是包含小,所以也被选出来。

4、字符串取反操作

取反符号是波浪线:~

下面的例子是:取出名字name中不包含小的数据,只有3个人名字中没有小字。

# 取出不包含小的数据
df1[~df1["name"].str.contains("小")]

# 结果
  name  age sex  score address
4 关宇  28  男  601   深圳
5 刘蓓  18  女  619   广州
6 张菲  25  女  701   长沙

05 切片取数

切片是Python中存在的概念,在pandas中同样可以使用。切片中存在3个概念:start、stop、step

  • start:起始索引,包含

  • stop:结束索引,不包含

  • step:步长,可正可负;

写法为:[start:stop:step]

步长为正数

1、通过下面的3个案例说明:起始索引默认从0开始,步长默认是1

2、指定起始索引,不指定结束索引,表示一直取到数据末尾

df1[4:]  # 从索引4开始取到末尾

# 结果
  name  age sex  score address
4 关宇  28  男  601   深圳
5 刘蓓  18  女  619   广州
6 张菲  25  女  701   长沙

3、改变步长的值

df1[0:4:2]  # 改变步长:每隔2个值取一行数据

# 结果
  name  age sex  score address
0 小明  20  男   669   北京
2 小孙  27  男   642   广州

上面的例子不指定起始索引:

df1[:4:2]  # 默认从0开始

4、只指定步长

df1[::2]   # 从头到尾,步长为2

# 结果
  name  age sex  score address
0 小明  20  男   669   北京
2 小孙  27  男  642   广州
4 关宇  28  男  601   深圳
6 张菲  25  女  701   长沙

步长为负数

1、步长为-1,默认是倒序输出结果

df1[::-1]  # 倒序输出

# 结果
   name  age sex  score address
6  张菲   25 女    701  长沙
5  刘蓓   18 女    619  广州
4  关宇   28 男    601  深圳
3  王小   20 男    590  武汉
2  小孙   27 男    642  广州
1  小红   18 女    570  深圳
0  小明   20 男    669  北京

2、步长为负,指定起始和终止索引,起始索引大于终止索引

df1[4:0:-1]
  name  age sex  score address
4 关宇  28  男   601   深圳
3 王小  20  男   590   武汉
2 小孙  27  男   642   广州
1 小红  18  女   570   深圳

3、起始和终止索引为负数

df1[-1:-5:-1]  # 最后一行记录索引为-1,不包含索引为-5的数据
 name  age sex  score address
6 张菲 25 女    701  长沙
5 刘蓓 18 女    619  广州
4 关宇 28 男    601  深圳
3 王小 20 男    590  武汉

06 常用函数

统计元素个数

很多时候我们需要统计某个列中每个元素出现的个数,相当于是做词频统计,使用:value_counts()方法,具体案例为:

⚠️:新数据中df1增加了一列:班级class,后续有作用

比如我们想统计每个城市出现了多少次:

# 统计中每个城市各出现了多少次

address = df1["address"].value_counts()
address

结果自动是降序排列的Series类型数据

索引重置

索引重置使用reset_index():

address_new = address.reset_index()
address_new

还比如我们想从数据中单独取出sex="男"的数据:

fale = df1[df1["sex"] == "男"]
fale

我们观察到数据前面的索引还是原来的,但是我们希望的是从0开始显示,比较符合我们的习惯:

fale_1 = fale.reset_index()
fale_1

出现的结果中索引是我们想要的结果,但是出现了一列新的数据,就是原来的索引构成的数据,这不是我们想要的数据,需要去除:

fale_1 = fale.reset_index(drop=True)  # 加上参数即可解决
fale_1

属性重命名

使用的是rename函数,传入columsn参数:

address_new = address_new.rename(columns={"index":"address",
                                         "address":"number"
                                        })
address_new

groupby使用

groupby主要是实现分组统计的功能:

1、比如我们想统计男女各自的总分

# 统计男女的总成绩:sum

sex_score = df1.groupby("sex")["score"].sum()
sex_score

2、求男女各自的平均分mean

# 统计男女的平均成绩:mean

sex_score = df1.groupby("sex")["score"].mean()
sex_score

3、根据男女性别sex、班级class求总分

# 先根据性别、班级求总分

sex_class = df1.groupby(["sex","class"])["score"].sum()
sex_class

一行代码实现上面的功能:

# 一行代码实现

df1.groupby(["sex","class"])["score"].sum().reset_index()

apply函数

还是上面的df1数据集:

1、需求1:我们想将性别中的男变成1,女变成0

# 1、改变:男-1,女-0

df2 = df1.copy()  # 生成一个副本

df2["sex"] = df2["sex"].apply(lambda x: 1 if x=="男" else 0)  # 通过匿名函数解决
df2

我们还可以自定义一个函数来实现:

#  自定义函数

def apply_sex(x):
    return 1 if x == "男" else 0

df3 = df1.copy()  # 生成一个副本df3

df3["sex"] = df3["sex"].apply(apply_sex)  # 通过自定义函数解决
df3

2、还比如我们想给每个城市的后面加上一个“市”,变成北京市、深圳市等:

# 2、给每个城市加上一个字:市,变成北京市、深圳市等

df4 = df1.copy()

df4["address"] = df4["address"].apply(lambda x: x + "市")
df4

总结

本文中从pandas中DataFrame数据的创建,常见数据信息的探索,再到如何从数据框中获取到我们指定的数据,最后介绍了笔者常用的处理数据的方法,希望对入门或者对不熟悉pandas的朋友有所帮助。Pandas真的是十分强大,学好之后会大大节省我们处理数据的时间。


觉得还不错就给我一个小小的鼓励吧!


pandas 快速入门教程 pandas 学习笔记学习目的一、认识pandas二、安装pandas三、数据结构四、导入Excel数据五、输出Excel数据六、数据检查七、数据查看八、数据清洗九、数据选择十、数据排序十一、数据分组十二、数据透视十三、数据合并十四、数据图表合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyP... 阅读详情

相关推荐

【Pandas数据筛选之通配符操作】—— 灵活、高效的数据处理

【Pandas数据筛选之通配符操作】—— 灵活、高效的数据处理Pandas是Python中广为使用的数据处理库,其中数据筛选是其重要功能之一。在实际数据处理过程中,常常需要通过通配符匹配来灵活地筛选所需数据。本文将详细介绍如何使用通配符来对Pandas DataFrame进行筛选。接下来,我们将通过三种通配符进行筛选:"*“表示匹配任意字符,”?“表示匹配单个字符,”[ ]"表示匹配括号内的任意一个字符。

. 996

Python二维列表创建DataFrame

import pandas as pd data = [[88,89,96],[95,93,92],[90,87,95]] df1=pd.DataFrame(data,index=['小明','小红','小兰'],columns=['语文','数学','英语']) print(df1) 运行结果: 语文 数学 英语 小明 88 89 96 小红 95 93 92 小兰 90 87 95 ...

cooom的专栏 2189

AI计算,为什么要用GPU?

几年后,2012年,神经网络之父杰弗里·辛顿(Geoffrey Hinton)的两个学生——亚历克斯·克里切夫斯基(Alex Krizhevsky)、伊利亚·苏茨克沃(Ilya Sutskever),利用“深度学习+GPU”的方案,提出了深度神经网络AlexNet,将识别成功率从74%提升到85%,一举赢得Image Net挑战赛的冠军。根据形态,GPU可分为独立GPU(dGPU,discrete/dedicated GPU)和集成GPU(iGPU,integrated GPU),也就是常说的独显、集显。

经营范围: CTA、SRRC、CCC、移动、电信、联通入库 1678

pd.DataFrame()函数解析

文章目录 DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表 0 简介 DataFrame的单元格可以存放数值、字符串等,这和excel表很像,同时DataFrame可以设置列名columns与行名index。 1 创建DataFrame pandas常与numpy一起配合使用,所以通常会一起引用,也就是: import pandas as...

devil_son1234的博客 3万+

Multisim 11.0的安装破解汉化步骤

15:打开注册机,选择管理员运行,默认第一项,选择生成文件路径,这里不要随意选择,要找到你安装Multisim安装路径下Shard下的License Manager路径下,否则会报错,破解失败。14:后面会出现一个更新提示,选择否,然后选择重启电脑后,先不要选择重启电脑,在这里出现了问题(可能敲击回车,默认去重启电脑了),所以我说不要重启电脑,重启破解时右下角出现这,点击否。17:重启电脑,如果前面重启过,那可以跳过重启,应用程序下找到下图所示,启动。16:点击确认覆盖,路径下生成了该文件。

qq_53260940的博客 2380

串并装换器的设计及仿真结果

串/并转换是高速数据流处理的重要技巧之一。串/并转换的实现方法多种多样,根据数据的的顺序和数量要求,可以选用寄存器,双扣RAM,SRAM,FIFO,等实现。对于 数量比较小的设计可以采用移位寄存器完成串/并转换。       在工程中,如何体现串/并转换的设计思想呢? 怎样才能提高系统的处理速度呢 ?       一个简单的串/并转换框架如下图所示,串行输入的数据通过FPGA内部的 n 个移

stubben_bear的专栏 2274

【Python基础】入门Pandas不可不知的技巧

来源:Python数据之道作者:Peter整理:阳哥如果你用 Python 做数据分析,必然会绕不过 Pandas 的使用,实际上, Python 也是由于 numpy、pandas 等数...

fengdu78的博客 680

Python脚本自动化芯片设计?PyAether实战教程带你玩转EDA

本文通过PyAether实战教程,详细介绍了如何利用Python脚本实现芯片设计自动化。内容涵盖环境搭建、核心对象模型解析,并重点演示了原理图自动生成、参数化单元创建及设计验证流程集成,帮助EDA工程师从重复性手动操作中解放,显著提升设计效率与一致性。

e4f5g6h的博客 1320

入门Pandas,你必须掌握的技巧

入门Pandas,你必须掌握的技巧 总结自己经常使用的pandas操作方法: 创建DataFrame数据 查看数据相关信息 查看头尾文件 花样取数 切片取数 常见函数使用 导入包 import pandas as pd import numpy as np 使用技巧1-创建DataFrame数据 方式1:自己直接创建 df1 = pd.DataFrame({ "name":["小明","小红","小孙","王小","关宇","刘蓓","张菲"], "age":[20,18,27,2

尤尔小屋 1026

StarCCM+ 导入STL几何模型进行仿真

通过 Import Surface Mesh 的方法导入 STL 文件进行仿真

薛定谔的alpha狗 6131

PLC凸轮开关指令编程应用——控制算法

凸轮开关指令的作用是在PLC程序中根据凸轮开关(Cam Switch)的状态执行不同的操作。凸轮开关通常是机械式的开关装置,它的位置会随着机械运动的变化而改变。凸轮开关的状态可以用来检测机器的位置、角度或其他相关信息,从而触发相应的控制动作。总结起来,凸轮开关指令是PLC编程中常用的一种控制算法,通过检测凸轮开关的状态来触发相应的操作。本文将介绍凸轮开关指令的应用和相应的控制算法,并提供相关的源代码示例。在这个示例中,凸轮开关状态的值代表不同的位置,根据凸轮开关状态的不同,执行相应的动作。

LiJavascript的博客 1035

入门Pandas必须掌握的技巧

入门Pandas,必须掌握的技巧 总结自己经常使用的pandas操作方法: 创建DataFrame数据 查看数据相关信息 查看头尾文件 花样取数 切片取数 常见函数使用 导入包 import pandas as pd import numpy as np 使用技巧1-创建DataFrame数据 方式1:自己直接创建 df1 = pd.DataFrame({ "name":["小明","小红","小孙","王小","关宇","刘蓓","张菲"], "age":[20,18,27,20

尤尔小屋 800

【ComfyUI专栏】ComfyUI 常用工作流下载与分享网址

首先我们来分享第一个网站,Openart 网站,这个网站同时也能提供比较多的其他类型。但是如果希望下载工作流,我们可以访问到如下的这个站点。作为ComfyUI的学习用户来说,我们通常需要借助他山之石来帮助我们快速成长,因此我们需要找到能够分享和下载的网址。,当前网站是综合性网站,在网站中可以下载各种不同的类型,其中工作流只是可以下载的非常小的部分。这个网站也可以浏览不同的工作流,这个工作流的地址和访问如下的站点。

技术与管理的平衡木- 7835

非常全面的Pandas入门教程

pandas是基于NumPy的一种数据分析工具,在机器学习任务中,我们首先需要对数据进行清洗和编辑等工作,pandas库大大简化了我们的工作量,熟练并掌握pandas常规用法是正确构建机器学习模型的第一步。 目录 如何安装pandas 如何导入pandas库和查询相应的版本信息 pandas数据类型 series教程 dataframe教程 小结 1. 如何安装Pandas 最常用的方法是通过...

weixin_44489066的博客 5万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【Python 零基础入门】Pandas

深入探索 Python 的 Pandas 库:从核心数据结构到高级特性,本指南为你提供了全面的 Pandas 知识概览。无论你是数据初学者还是专家,都可在此找到宝贵的 insights 和技巧,助力你的数据处理与分析工作。

我是小白呀的博客 1万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

import pandas as pd什么意思_Pandas数据分析从分析到入门

点击上方“Python之旅”,星标公众号分享好玩的信息来源:雪山飞猪Pandas数据分析从放弃到入门目录什么是Pandas一、如何读取数据库-read_sql二、如何筛选数据三、如何连表-merge四、如何删除一行或一列-drop五、如何分组统计-groupyby六、如何排序-sort_values/sort_index七、如何重建索引-groupby(as_index=False)/r...

weixin_39786534的博客 4万+

Python之一文入门Pandas

本文介绍了Python数据分析库Pandas的核心数据结构Series。主要内容包括: Series概述:一维数据结构,包含索引(index)和值(values),类似Excel列数据; 创建方法:通过列表、标量值、字典和ndarray四种方式创建Series,并说明index参数的作用; 基本操作:包括数据获取(values/index访问)、数据访问(in/索引/位置/get方法)、缺失值检测和切片操作; 特性:支持向量化操作,具有类似NumPy的广播机制。Series作为Pandas基础数据结构,为数

空名的博客——云深知处 1315

提升效率,这十个Pandas技巧必不可少!

Pandas 是一个被广泛使用,用于处理结构化数据的 Python 包。虽然已经有很多优质的教程供大家学习,但这次我还是想给大家介绍一些很酷的、可能还不为大家熟悉的技巧,我相信这些小技巧会提升大家处理数据时的效率。 1、read_csv 大家都知道这个命令。但是,如果你要读取的数据量很大时,你可以尝试使用一下这个参数:nrows = 5。在实际加载整个数据表之前,只读取表的一小部分。然后,您可...

python学习者的博客 791

数据分析之Pandas 基础入门

在 CSV 文件中指定了一个列,然后使用index_col可以实现自定义索引。

zhouzhiwengang的专栏 5001
上一篇: 使用Python+OpenCV+Keras创建自己的图像分类模型
下一篇: 熵增定律:让无数人瞬间顿悟的思维方式
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值