如何让Pandas操作加快100倍?

还在抱怨pandas运行速度慢?这几个方法会颠覆你的看法 当大家谈到数据分析时,提及最多的语言就是Python和SQL。Python之所以适合数据分析,是因为它有很多第三方强大的库来协助,pandas就是其中之一。pandas“快速,灵活,富有表现力的数据结构,旨在使”关系“或”标记“数据的使用既简单又直观。”我们知道pandasdataframe和series,我们对数据的一些操作都是基于这两个数据结构的。但在实际的使用中,我们可能很多时候会感觉运行一些数据结构的操作会异常的慢。 阅读详情

今天我们讨论三种在 Python 数据分析库 Pandas 中加速运算的方法。 Pandas 对于处理存储在电子表格和数据库中的表格数据非常有用。它提供了许多用于操作和转换数据帧或结构数据的功能。

方法 1:使用 itertuples() 迭代数据帧行

解释:有很多地方我们需要迭代数据框的行并进行一些操作。天真地,我们只是检查每一行数据,没有想太多,这里我们用一个简单的求和运算来展示性能变化

generate a dataframe from random numbers


import pandas as pd
import random

df = pd.DataFrame(
{
    "a": [random.randint(0,100) for _ in range(100000)],
    "b": [random.randint(100,200) for _ in range(100000)],
}
)
df
ab
017161
177150
230121
318130
431178
.........
999955183
9999646138
999979133
9999825162
9999998144

100000 rows × 2 columns

situation 1: naive loop

%%timeit

results = []
for i in range(len(df)):
    results.append(df.iloc[i]['a']+df.iloc[i]['b'])
11.9 s ± 297 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

situation 2: using iterrows()

%%timeit
results = []
for index, row in df.iterrows():
    results.append(row['a']+row['b'])

3.61 s ± 156 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

situation 3: using itertuples()

%%timeit
results = []
for row in df.itertuples():
    results.append(row.a+row.b)
69.4 ms ± 3.16 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

结论:使用 itertuples() 比 iterrows() 快 52 倍,比 naive looping 快 171 倍!

方法2:如何高效地创建新的数据框

说明:当我们需要创建一个新的数据框并向其中添加一个新列时,例如,两个现有列的总和

situation 1: get data list, then make a new dataframe from the data

%%timeit

results = []
for row in df.itertuples():
    results.append( (row.a, row.b, row.a+row.b) )
    
new_df = pd.DataFrame(data=results)    
133 ms ± 2.43 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

situation 2: copy the old dataframe to a new one, then make new column using apply() function

%%timeit
new_df = df.copy()

new_df['c'] = new_df.apply(lambda row: row['a']+row['b'],axis=1)
988 ms ± 106 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

situation 3: copy the old dataframe to a new one, then make new column using native dataframe vectorized operation

%%timeit
new_df = df.copy()

new_df['c'] = new_df['a']+new_df['b']
956 µs ± 14 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

结论:如果我们可以在没有 for 循环的情况下利用原生 df 操作,那是最好的,可以快 1000 倍;如果我们有复杂的操作,制作新数据然后从中创建数据框,可能是一个更好的选择

方法3:如何有效地使用apply()函数

在底层,流行的 apply() 函数是一个带有一些开销的 for 循环;在可能的情况下,我们可以利用矢量化操作的好处;我们这里以条件乘法为例

situation 1: use apply() directly

%%timeit
def condition_multi(a):
    if a>30:
        return a*2
    else:
        return a*3
    
    
df['c'] = df['a'].apply(condition_multi)

33.4 ms ± 2.41 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

situation 2: leverage NumPy operations

import numpy as np
%%timeit

df['c'] = np.where(df['a']>30, df['a']*2,df['a']*3)

1.18 ms ± 304 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)

结论:使用 numpy 速度提高了 28 倍!

英文和代码下载(最后一行)

下载地址

全栈程序员的最爱,AI好书必读

在这里插入图片描述
北大出版社,人工智能原理与实践 人工智能和数据科学从入门到精通 详解机器学习深度学习算法原理

人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典

Pandas 性能优化终极指南:加速你的数据分析 Pandas 是 Python 生态中最受欢迎的数据分析库之一,广泛应用于数据清洗、转换、聚合和可视化。然而,当数据量增长到数百万甚至上千万行时,Pandas 可能会变得缓慢,消耗大量内存,甚至导致程序崩溃。 本文将深入探讨 Pandas 性能优化的关键策略,涵盖数据类型优化、向量化计算、内存管理、高效查询技巧、IO 优化以及替代方案(如 Dask 和 Modin)。无论你是数据分析师、数据科学家还是 Python 开发者,这些优化技巧都能显著提升你的数据处理效率。 阅读详情

相关推荐

100个pandas数据处理技巧

大家好,我是Peter~Pandas 是一个强大的 Python 数据分析库,它提供了非常灵活和高效的方式来处理时间序列数据。在Pandas中,有许多强大的数据处理技巧可以帮助你高效地分析和操作数据。以下是100个Pandas数据处理技巧的简要介绍和相应的Python代码示例。每个示例都会尽量简洁,由浅入深,希望对大家有所帮助。觉得不错的话,欢迎点赞、收藏、转发~ 2. 读取CSV文件 3. 查看数据前几行 4. 查看数据列信息 5. 查看数据基本信息 6. 查看数据描述统计信息 7. 选择单列

尤尔小屋 1181

如何提高Pandas的运行速度?四大性能优化方法

Pandas作为数据分析的屠龙宝刀,毫不夸张的说,功能和优势都极其强大。像是支持GB数据处理,多样的数据清洗方法;支持多种开源可视化工具包,更加丰富的数据成果展示等等。因此如果能做好性能优化,就可以极大的提高Pandas的运行速度。本文为大家总结了四大优化Pandas性能的方法,感兴趣的朋友就赶紧看下去吧!

weixin_68789096的博客 2174

如何通过GPU增强Pandas

如您所见,cuDF提供了一个API,使我们能够以最小的努力在GPU上转换Pandas数据框。根据我们的测试,cuDF在CPU上与标准Pandas相比的性能提高了10–100倍。正如开头提到的,Dask是另一种流行工具,使我们能够在机器集群上运行Pandas转换和作业。cuDF和Dask可以结合使用,以进一步增强处理能力,并利用分布式计算系统和GPU更快地处理数据(阅读更多。

数智笔记 1560

再见 for 循环!pandas 速度提升315倍!

是所有编程语言的基础语法,初学者为了快速实现功能,依懒性较强。但如果从运算时间性能上考虑可能不是特别好的选择。本次东哥介绍几个常见的提速方法,一个比一个快,了解本质,才能知道如何提速。 >>> import pandas as pd # 导入数据集 >>> df = pd.read_csv('demand_profile.csv') >>> df.h

m0_59236127的博客 666

python-13-pandas的常用操作和数据处理加速技巧

(1)获取数据 (2)数据处理:处理缺失数据,可视化 (3)特征工程 (4)算法训练:模型 (5)模型评估 (6)应用 from numpy import nan as NA 1 滤除缺失数据 SeriesNew = Series.dropna() SeriesNew = Series[Series.notnull()] DataFrameNew = DataFrame.dropna()删除含NA的行 DataFrameNew = DataFrame.dropna(how="all")删除全为NA的行 Da

qq_20466211的博客 2402

【Docker】搭建一个媒体服务器插件后端API服务 - MetaTube

本教程基于群晖的NAS设备DS423+的docker功能进行搭建,DSM版为 7.2.1-69057 Update 5。MetaTube是一个媒体服务器插件,主要用于Emby和Jellyfin媒体服务器。它的主要功能是从互联网上抓取内容并响应 JSON 数据,然后通过预安装的 MetaTube 插件请求服务器并下载相应的元数据,以与 Jellyfin/Emby 服务器配合使用。使用 MetaTube 的步骤大致如下:部署后端:首先,需要部署一个名为​ 的后端 API 服务器来抓取内容。

小小笔记大大用处 1万+

Pandas DataFrame 基本操作实例100个

Pandas是一个强大而灵活的数据分析工具,它使得Python在数据分析领域具有广泛的应用。无论是金融、科学、社会科学还是其他领域,Pandas都可以帮助用户高效地处理和分析数据,从而得出有价值的结论。

汉阳Hann's Home 2094

Duilib的简单使用(五、DuiDesigner/DuiEditor的下载编译)

一、前言 在Duilib的简单使用(一、duilib demo)中我们介绍了利用duilib简单的构造一个项目 在Duilib的简单使用(二、xml实现界面与业务分离)中我们介绍了XML在duilib中的使用 在Duilib的简单使用(三、界面逻辑交互)中我们已经知道如何简单的进行界面的交互 在Duilib的简单使用(四、换肤)中,我们提了一下Duilib强大的一键换肤功能。 通过之前的说明,我们知道duilib是通过xml来分离界面和业务逻辑的,但是xml如果不能预览,那每次敲一个再运行一下看看效果,这不

LyRics1996的博客 2892

swifter终极指南:如何让pandas apply操作提速100倍

如果你正在使用Python进行数据分析,那么pandas绝对是你的得力助手。但在处理大数据集时,你是否曾因`apply()`操作缓慢而烦恼?swifter这个神奇的库正是为了解决这个问题而生!本文将为你详细介绍swifter的强大功能,以及如何利用它让pandas的apply操作提速高达100倍。🚀 ## 什么是swifter? swifter是一个智能的Python库,它能自动为panda

gitblog_00074的博客 851

SPEI计算避坑指南:gma中Distribution和FitMethod参数怎么选?

本文深入探讨了在SPEI计算中如何科学选择gma库中的Distribution和FitMethod参数,帮助研究者避开常见陷阱。详细分析了LogLogistic、Gamma和Pearson3三种分布的适用场景,以及LMoment与MLE拟合方法的优缺点,为气象干旱研究提供实用指南。

weixin_30308101的博客 254

实验二 离散控制系统的性能分析(时域/频域)

1.掌握离散闭环系统的动态性能时域参数的分析与计算方法; 2.掌握离散系统稳定性的频域典型参数分析与计算方法。 MATLAB 软件( 2022a); 1.在 Matlab 语言平台上,通过给定的闭环离散系统,深刻理解时域参数的物理意义与计算方法,内容包括如下: 阻尼比参数分析:Z 平面与 S 平面的极点相互转换编程实现;分析 S/Z 两个平面域特殊特性(水平线、垂直线、斜线、圆周等)的极点轨迹相互映射方法;系统阶跃响应参数:上升时间和超调量等。 2. 采用频域分析方法,通过编程计算,进一步理解离散系统的稳定

m0_51738372的博客 2481

Pandas 100 题

Pandas 百题大冲关 实验介绍 Pandas 是基于 NumPy 的一种数据处理工具,该工具为了解决数据分析任务而创建。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的函数和方法。Pandas 的数据结构:Pandas 主要有 Series(一维数组),DataFrame(二维数组),Panel(三维数组),Panel4D(四维数组),PanelND(更多维数组...

AvalancheM的博客 1万+

《UDS协议从入门到精通》系列——图解0x14:清除诊断信息

图解0x14:清除诊断信息,简洁易懂,迅速上手!

车载系统攻城狮 4828

pandas100个骚操作四:再见for循环!速度提升315倍,pandas速度优化方法

大家好,我是你们的东哥。 本篇是pandas100个骚操作的第4篇:再见for循环!速度提升315倍,pandas速度优化方法 查看全部骚操作可以点击专栏:pandas 100个骚操作 因为for是所有编程语言的基础语法,初学者为了快速实现功能,依懒性较强。但如果从优雅性和运算时间性能上考虑可能不是特别好的选择。 本次东哥介绍几个常见的提速方法,一个比一个快,了解pandas本质,才能知道如何提速。 下面是一个例子。 >>> import pandas as pd # 导入数据集 &gt

Python数据科学 1872

【数据集】2019年中国1km格网河网密度数据集

中国1km格网河网密度数据集

WW、forever的博客 1347

别再盯着那 100 条数据了,RAP OData 分页机制到底在保护什么

摘要: SAP BTP ABAP Environment 的 OData 服务默认采用分页保护机制,未指定 $top 时仅返回100条数据并附带下一页链接。这种设计旨在防止资源滥用,而非服务故障。客户端应遵循OData协议规范,直接使用服务端返回的 next link 进行分页请求,而非自行构造URL。当指定 $top 参数时,若数值超过5000仍会被强制分页。该机制在SAPUI5控件中被自动处理,但自定义客户端需主动实现分页逻辑。对于自定义实体(Custom Entity),开发者需在Query Prov

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 866

3个关键技巧:让Pandas数据处理速度提升100倍的秘密

你是否曾经面对庞大的数据集,看着进度条缓慢爬行,心里默默计算着咖啡还能续几杯?🤔 在数据科学的世界里,时间就是洞察力,而Pandas作为Python数据分析的瑞士军刀,有时却会因为不当使用而变成沉重的负担。今天,我要分享的是我在Real Python材料库中发现的一套神奇技巧,它们能让你的Pandas代码从"龟速"进化到"闪电侠"模式! ## 从蜗牛到猎豹:我的Pandas性能优化之旅 还记

gitblog_00443的博客 1048

【软考中级】多媒体应用设计师复习笔记第十章【free】

第10章法律法规与标准规范 行业标准 缩写的大写拼音 地方标准 DB加生代码 企业标准Q加斜线企业代号国际标准是国际标准化组织ISO和国际电工委员会IEC制定的标准 国家标准是由国务院标准化行政主管部门制定,全国范围内使用 ?强制性国家标准的代号为GB,推荐性国家标准的代号为GB/T。 ?软件开发规范GB8566-88属于强制性国家标准 在这里插入图片描述 行业标准代号由大写汉语拼音字母组成,加上斜线和T,组成推荐性行业标准,如XX/T。已经发布的行业代号有QJ(航天),SJ(电子

weixin_47120900的博客 642

如何优化Pandas性能:Pandas Cookbook中的3个数据操作效率提升技巧

Pandas Cookbook是数据处理领域的实用指南,提供了大量高效操作DataFrame的方法。对于新手用户来说,掌握Pandas性能优化技巧能显著提升数据处理效率,避免因大数据集操作导致的卡顿问题。本文将从数据类型优化、向量化操作和高效合并三个维度,分享Pandas Cookbook中经过验证的性能提升方案。 ## 1. 数据类型优化:减少内存占用的关键步骤 数据类型(dtype)是影响

gitblog_00562的博客 1118

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

10倍效率提升:pandas向量化操作彻底替代循环

你是否还在为处理十万行数据等待半小时?是否因嵌套循环导致程序崩溃而抓狂?本文将用最通俗的语言,带你掌握pandas数据处理的"加速魔法"——向量化操作,让你的代码效率提升10倍以上,彻底告别缓慢的Python循环。 读完本文你将学到: - 为什么循环在pandas中是"性能瓶颈" - 向量化操作的底层工作原理 - 3个实战场景的代码改造案例 - 性能测试工具与优化 Checklist - 常见陷...

gitblog_00860的博客 493

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

100 Pandas Puzzles 使用教程

`100-pandas-puzzles` 是一个开源项目,旨在通过一系列的谜题来测试和提升用户对 Pandas 库的掌握程度。这些谜题涵盖了从简单到复杂的各个层次,适合不同水平的用户学习和练习。项目灵感来源于 `100 Numpy exercises`,并且已经完成了60%的内容。 ## 项目快速启动 ### 环境准备 在开始之前,请确保您的计算机上已经安装了 Python 3 和 Pand...

gitblog_00042的博客 577

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

pandas字符串操作太慢?用Polars和PyArrow提速20倍实战指南

字符串处理是数据清洗中最常见的基础操作,其性能直接受底层数据结构与执行引擎影响。传统pandas将字符串存为object类型,导致频繁Python对象引用、无法向量化及缓存不友好,造成严重性能瓶颈。现代解决方案转向列式存储架构,依托Polars的Arrow原生字符串计算和PyArrow的SIMD加速正则引擎,实现真正向量化与内存连续访问。该技术路径不仅显著降低CPU缓存未命中率,还支持JIT编译、Unicode鲁棒处理与零拷贝转换,广泛适用于电商评论清洗、医疗文本标准化、客服工单解析等含大量非结构化文本的工

weixin_34277853的博客 334

100 Pandas Puzzles 项目推荐

**100 Pandas Puzzles** 是一个专注于 Pandas 数据处理库的开源项目,旨在通过 100 个不同难度的谜题来帮助开发者提升对 Pandas 的理解和应用能力。该项目的主要编程语言是 **Python**,尤其是依赖于 Pandas 库进行数据操作和分析。 ## 2. 项目的核心功能 该项目的核心功能是通过一系列的谜题来测试和提升开发者对 Pandas 的掌握程度。这些谜...

gitblog_00878的博客 362

Pandas性能优化10-100倍提升实战技巧

在数据分析领域,内存管理和计算效率是提升性能的核心要素。Pandas作为Python生态中最流行的数据处理工具,其底层通过NumPy数组实现向量化计算,这种基于C语言实现的计算方式相比Python原生循环能获得百倍性能提升。理解数据类型优化原理尤为关键,比如将object类型转换为category可以降低90%内存占用,而使用float32替代float64能在保持足够精度的情况下减少50%内存消耗。在工程实践中,合理运用eval()、query()等向量化操作,结合Parquet/Feather等列式存储

weixin_30431445的博客 229

如何用100个实战案例彻底掌握pandas数据分析技能

你是否经常在处理数据时感到困惑?面对海量数据不知道从何下手?pandas作为Python数据分析的核心工具,掌握它意味着你能快速解决实际工作中的数据处理难题。今天我要介绍的100-pandas-puzzles项目,就是帮助你从零开始系统掌握pandas的最佳实战平台。 ## 项目核心价值:解决数据分析中的真实痛点 100-pandas-puzzles不是一个简单的教程,而是一个精心设计的实战训

gitblog_00578的博客 770

100个Pandas数据分析实战挑战:从零到精通的完整指南

想要快速掌握Python数据分析的核心技能吗?100-pandas-puzzles项目为你提供了一个完整的学习路径,通过100个精心设计的实战练习,帮助你从pandas新手成长为数据分析专家。这个开源项目涵盖了数据处理的各个方面,从基础操作到高级技巧,循序渐进地提升你的数据分析能力。 ## 📈 项目核心价值:为什么选择100-pandas-puzzles? **100-pandas-puzz

gitblog_00034的博客 825
上一篇: AWS API gateway api CORS错误处理方法
下一篇: 如何利用python编辑图片,删除其中一部分?
robot_learner
博客等级 码龄7年 632粉丝 187原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值