python数据分析代码优化小结

Python处理数据常见问题解决方案(2)Dataframe使用 append()添加大量数据时效率变低,处理时间过长,无法接受。 问题描述: 在用python给dataframe添加数据的过程中,我们经常使用append()方法往dataframe中一行一行的添加数据。但是当数据过多时,append()方法效率变得地下。近期笔者需要处理350,000行的数据,需要对其中的每一行做处理,组装成新的一行,再使用append()把新组装的一行添加至新的dataframe。 在MacBook上用Pycharm运行了8个小时,只append()了约110,000行,这个速度是无法接受的。所以需要找到一种更快的组装dataframe的方法。 解决 阅读详情

过去一段时间在对python版本的评分卡模型做效率优化。之前的版本已经实现了所有功能但是速度实在太慢。13W的数据量包含130个特征(其中30个连续值)使用原来的版本需要花费将近两小时的时间才能够计算出所有特征值的IV。这个效率实在是。。。。
经过优化,现在可以将时间控制在5s左右。可以说是相当不错了。
接下来小结一下关于python代码方面优化的方法。(算法方面没啥可改的就是简单的统计数)

环境

python版本:python 2.7
包:numpy和pandas

效率优化方法

  1. pandas一些优化的细节

    • 使用DataFrame.concat()代替DataFrame.append()

      将数据处理好存储为list,再将list用concat连接。
      这种方法的效率比直接在DataFrame后面使用append。效率要高出30%~50%

      • Dataframe的append效能很低,如果我们知道未来表的条目,预先分配好空间,将来直接向里面填入内容会快不少
    
    # 例子
    
    
    # 预先分配好内存空间
    
    outdf = pd.DataFrame(pd.np.empty((output_index_num, len(indf.columns))) * pd.np.nan, columns = indf.columns)
    
    # 用for循环来补充数据
    
    for outindex in range(0, output_index_num):
        # have some fun here
        outdf.loc[outindex] = indf.loc[int(len(indf) * outindex / output_index_num)]
    • pandas中loc,iloc,ix,at这几种方法的选择
    %timeit outdf.loc[0] = indf.loc[0]
    100 loops, best of 3: 11.7 ms per loop
    %timeit outdf.iloc[0] = indf.iloc[0]
    100 loops, best of 3: 11.4 ms per loop
     %timeit outdf.ix[0] = indf.ix[0]
    100 loops, best of 3: 11.6 ms per loop
    %timeit outdf.at[0,'time'] = indf.at[0,'time']
    10000 loops, best of 3: 25.3 µs per loop

    loc,iloc,ix速度相似,可是at却快了将近1000倍。
    可惜的是at只能选择某个单元而不是整行。

    1. 并行计算

    这个所有加速效率中最简单效果也是最稳定的方法了。
    python中有几种多进程的方法。
    1.multiprocessing
    2.joblib中的Parallel,delayed

# joblib例子
from joblib import delayed, Parallel

def square(x): return x*x

values = Parallel(n_jobs=NUM_CPUS)(delayed(square)(x) for x in range(1000))
# Parallel(n_jobs=cpu核心数)
#(delayed(函数名)(函数参数列表) for x ...)
2.  python垃圾自动回收机制

Python常用的垃圾回收(GC)算法有这几种引用计数(Reference Count)、Mark-Sweep、Copying、分代收集。在Python中使用的是引用计数。

工作原理:为每个内存对象维护一个引用计数。
因 此得知每次内存对象的创建与销毁都必须修改引用计数,从而在大量的对象创建时,需要大量的执行修改引用计数操作(footprint),对于程序执行过程 中。 

这个方法大概能够提高10%左右的效率。

  1. 使用pypy编译器

PyPy是用RPython(CPython的子集)实现的Python,根据官网的基准测试数据,它比CPython实现的Python要快6倍以上。快的原因是使用了Just-in-Time(JIT)编译器,即动态编译器,与静态编译器(如gcc,javac等)不同,它是利用程序运行的过程的数据进行优化。由于历史原因,目前pypy中还保留着GIL,不过正在进行的STM项目试图将PyPy变成没有GIL的Python。

如果python程序中含有C扩展(非cffi的方式),JIT的优化效果会大打折扣,甚至比CPython慢(比Numpy)。所以在PyPy中最好用纯Python或使用cffi扩展。

由于numpy和pandas底层许多方法由C语言实现,所以在实际使用过程中,pypy编译的效率反而变得更加慢。可以看出如果对于pure python代码,使用pypy编译可以得到效率极大的提高。

  1. 使用numba加速

    numba中加速的方法和pypy加速的方法是相同的。就是使用JIT来提高python脚本语言的执行速度。缺点也相同,对于python程序中含有C扩展(非cffi的方式)效果反而不够好。

  2. 使用Cython来进行加速

    这个就需要有C语言开发的基础了。可以很方便的将一些函数使用C语言的方法进行重写,从而加快代码的执行效率。

  3. 使用向量化来操作pandas

    这个效率提高特别高。在我的代码中使用这个方法将效率提高了700+倍。相同的数据量下时间花费也从原来的接近两小时降低到只要10s左右。可见这个效率提升之恐怖。

具体操作请查看参考”优化Pandas代码执行速度入门指南”

存储优化方法

第一种方法是对pandas中数值型数据的降级。比如将int32转为int16.float64转为float32.
第二种方法是将objcet类型转换为category类型。这个是最节约空间的方法。

具体优化方法请见参考 “用pandas处理大数据———减少90%内存消耗的小贴士”

如何提高pandas读取速度

可以查看参考 ” 使用Python Pandas处理亿级数据”

这里小结一下这段时间尝试的方法,同时也对python的优化有了一些认识。希望对大家有一点借鉴作用。

参考:
- 简单两步,大幅提高python数据处理速度
- Python多进程并发(multiprocessing)
- python平行(3):【parallel python】与【sklearn joblib的parallel和delayed】性能对比
-Python 代码性能优化技巧-ibm
-Python内存管理机制及优化简析
-如何让 Python 像 Julia 一样快地运行-ibm
-优化Pandas代码执行速度入门指南
-用pandas处理大数据———减少90%内存消耗的小贴士
-使用Python Pandas处理亿级数据

LPDDR5 物理层一致性测试(连载・下):电平、过冲下冲与 Rx 接收眼图 Mask 掩模完整指标解读 本文系统梳理LPDDR5物理层一致性测试全流程,涵盖差分/单端电平、边沿斜率、交叉点电压、过冲下冲及CS/CA/DQ接收眼图掩模(Rx Mask)测试,详解各参数定义与工程实操要点。强调配置需与DRAM MR寄存器同步,突出差分≠合格、面积积分不可忽视、掩模失败优先排查参考电压与信号完整性等高频坑点,为硬件调试与SI工程师提供权威参考。 阅读详情

相关推荐

自动驾驶预测决策规划八股

预测规划八股个人总结。

dawushixiange的博客 479

Python 性能优化|优化 pandas.concat 内存占用方法(避免复制数据)

因为 numpy 的切片方法通常不会导致复制数据,所有我们考虑将 DataFrame 中的每一列分别取出、切片后再重新构造 DataFrame。显然,在上述的操作中,复制了 DataFrame 中的数据。我们希望实现一种不需要复制,而是使用切片视图的方法。的参数,发现并不能有效降低内存,反而使内存峰值翻倍,具体原因待基于源码分析。监控内存,可知这一步操作的返回的 DataFrame 新增内存。因此,返回值的内存约占数据内存的 9.64%。在返回结果中,数据需要使用内存。使用上述逻辑,新增内存为。

长行 2283

手把手教你搭建基于Springboot+Vue的酒店管理系统

友友们,又是好久没更新了,马上元旦了,要迈入2025蛇年了,提前祝大家蛇年快乐,学有所成,本文博主将带领大家使用Springboot和Vue搭建一个酒店管理系统,受限于本文篇幅内容,本文罗列仅有部分简单示例内容,主要包括前后端示例源码。通过本文,你将大致掌握如何快速搭建一个现代化的Web应用。如果您想学习完整开发方案,包括项目源码+数据库文件+全套环境资源+代码部署视频教程+开发文档】获取学习资源,支持远程安装调试:一、项目背景随着互联网技术的不断发展,酒店行业对信息化的需求越来越高。

暴力码农的博客 1325

【冰糖Python】python并行化-multiprocessing,joblib,numba

此处尝试multiprocessing,joblib,numba对实行for并行的作用

冰糖的小屋 1036

一种基于因果干预的少样本学习的故障诊断模型

本文提出CIRNet,一种融合元学习与因果干预的少样本故障诊断框架。针对传统方法易学习伪相关特征的问题,CIRNet通过构建结构因果模型,采用类级和特征级双调整策略消除先验知识干扰。实验在多个轴承/齿轮数据集上验证其有效性,在跨组件任务中准确率最高达93.41%,特征可视化显示更好的类可分性。相比现有方法,CIRNet显著提升了模型泛化能力和可解释性。

hasakie的博客 957

如何使用obspy下载地震波形数据

如果你是地震研究学者,或者需要进行地震方面的研究,那么地震数据下载是一个必不可少的流程,本文将告诉你如何使用obspy下载想要的地震数据

monsterk1的博客 2078

【Python数据分析】pandas常用基础数据分析代码

用pandas数据分析老番茄数据。

马哥的专栏 1万+

机器学习与深度学习基础概念

本篇主要介绍机器学习主要概念,包括不限于标签、特征、样本、训练、模型、回归模型、分类模型、泛化、过拟合、预测、平稳性、训练集、验证集、测试集。

专注大数据与人工智能技术分享,欢迎私信加群互相学习! 3万+

8个高效Python数据分析的技巧(附完整代码)

定义某种列表时,写For 循环过于麻烦,幸运的是,Python有一种内置的方法可以在一行代码中解决这个问题。下面是使用For循环创建列表和用一行代码创建列表的对比。

2201_75362610的博客 5701

【图像增强(Image Enhancement )】专栏的相关说明,包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、关于答疑、文章目录、与我联系等(持续更新中...)

专栏内涉及的算法都是基于深度学习的图像增强算法;收录的文章基本上是基于Pytorch框架实现的,部分基于Tensorflow;预计完成100篇论文,并持续更新;专栏内文章主要为两部分:【论文精读】与【论文复现】论文精读:读懂论文,总结提炼,聚焦核心内容,不只是全文翻译论文复现:跑通流程,源码解析,提升代码能力,得到去噪结果以及指标计算综合而言,从大到小拆解模型结构,从小到大实现模型搭建。实现论文与源码的统一,深入理解论文行文逻辑与代码实现逻辑,融汇贯通二者思想,并学以致用。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 4055

自动驾驶感知新方案:YOLOv13多模态(RGB+LiDAR+热成像)融合实战

YOLOv13的RGB+LiDAR+热成像多模态融合方案,解决了自动驾驶感知的鲁棒性问题,通过跨模态特征互补和注意力融合,实现了复杂场景下的高精度检测。本文从架构设计、数据预处理、核心模块实现到车载部署,完成了全流程实战。动态模态权重:根据场景自动调整各模态的权重(如黑夜场景提升热成像权重);端到端3D检测:直接从原始点云与图像进行3D检测,减少预处理步骤;轻量化优化:针对车载设备进一步剪枝量化,提升推理速度。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 536

【Python数据分析300个实用技巧】285.效率与技巧合集之代码优化进阶:用CProfile定位性能瓶颈

性能优化就像侦探破案,cProfile就是你的放大镜。记住:优化不是炫技,而是用数据说话的艺术。当你能够一眼看出[lambda]函数里的性能黑洞,当你能把嵌套循环改写成向量运算,你就完成了从代码民工到性能工程师的蜕变。编程路上没有银弹,但好的工具能让你少走弯路。下次遇到卡顿的程序,别急着砸键盘,掏出cProfile给它做个全身扫描吧!保持这份刨根问底的精神,相信用不了多久,你就能写出让同事惊呼"这代码怎么跑得这么快!"的优雅程序。代码之路,且行且优化,我们下期见!

1046

基于 YOLOv26 的金属表面缺陷检测系统:智能视觉质检方案

摘要: 基于YOLOv26的金属表面缺陷检测系统采用深度学习技术,实现对划痕、裂纹、腐蚀等8类常见缺陷的自动化检测。系统通过数据增强预处理和YOLOv26模型的高精度识别能力,具备多类别分类、实时推理和强鲁棒性特点,适用于不同金属材质与光照条件。架构包含数据采集、预处理、YOLOv26检测和后处理模块,代码实现采用PyTorch框架,支持训练数据增强与标准化处理,为工业质检提供高效智能解决方案。

一键难忘的博客 592

【Python数据分析300个实用技巧】160.高级技巧与黑科技之代码优化秘籍:用代码分析工具消除冗余

优化不是一蹴而就的修行,而是贯穿开发始终的日常。记住:最好的优化往往是删代码而不是写代码。当你看着经过瘦身的代码优雅运行的那一刻,那种成就感堪比首次成功打印"Hello World"。编程路上,你我都是探路者。保持对代码的敬畏之心,但也不要被性能焦虑绑架。毕竟,能正确运行的"慢代码"好过跑得飞快的"错误代码"。下次遇到性能瓶颈时,不妨对着镜子说:“让我看看你还有什么本事!

865

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

【Python数据分析300个实用技巧】297.效率与技巧合集之代码优化黑科技:用内存分析工具释放资源

当你能从内存曲线中读出业务故事时,就真正掌握了性能优化的精髓。记住:每个字节都有它的归处,每次GC暂停都是程序在呼吸。那些深夜追查内存泄漏的日子,终将成为你代码生涯中最闪亮的勋章。编程之路如同内存管理,重要的不是永不泄漏,而是学会及时释放。保持对技术的敬畏之心,带着今天学会的"内存显微镜",去打造让你骄傲的高性能系统吧!

925

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【Python数据分析300个实用技巧】119.性能优化与工具链之代码优化必杀技:用向量化替代循环

编程如同修行,优化的最高境界是"手中无循环,心中有向量"。记住:每一次用a*b替代for循环,都是在向高效编程的本质更近一步。当你能在写代码时自然浮现内存布局图,听到数据在SIMD通道奔腾的声音,就真正掌握了这把性能优化的屠龙刀。路虽远行则将至,事虽难做则必成——与诸君共勉!

1487

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【Python数据分析300个实用技巧】191.工具与库的深度使用之NumPy进阶:用向量化替代循环

编程就像修炼武功,循环是扎马步的基本功,而向量化思维就是凌波微步的轻功。当你用矩阵思维重新审视代码时,会发现曾经的山重水复,不过是降维打击前的迷雾。记住:每个优秀的Python程序员都经历过从"for循环战士"到"向量化宗师"的蜕变。保持对性能的敬畏,但不必焦虑——下一次当你本能地想写循环时,停下来问自己:“这个操作能不能用矩阵表达?代码之道的精进,往往就藏在这些自我质疑的瞬间。愿你在这场思维的升级之旅中,早日练就"一向量破万循环"的绝世武功!

1192

【Python数据分析300个实用技巧】146.高级技巧与黑科技之函数式编程黑科技:用functools优化函数调用

这些黑科技就像代码世界的瑞士军刀,用好了能让你的代码既优雅又高效。记住,优秀的程序员不是写更多代码,而是写更聪明的代码。下次当你在重复劳动时,不妨停下来想想:这个场景是不是能用某个functools工具来优化?编程路上没有银弹,但每个小技巧的积累都能让你离高手更近一步。保持探索的热情,你的代码终将成为别人眼中的艺术品。毕竟——我们写的不是代码,是解决问题的诗意啊!

819

Python高性能编程

Python语言是一种脚本语言,其应用领域非常广泛,包括数据分析、自然语言处理、机器学习、科学计算、推荐系统构建等。 本书共有12章,围绕如何行代码优化和加快实际应用的运行速度行详细讲解。本书主要包含以下主题:计算机内部结构的背景知识、列表和元组、字典和集合、迭代器和生成器、矩阵和矢量计算、并发、集群和工作队列等。*后,通过一系列真实案例展现了在应用场景中需要注意的问题。 本书适合初级和中级Pyt...

u014033218的专栏 619

自学python的书籍逐级推荐,python自学哪本书比较好

学习编程,单单只是看书是不够的,更重要的还是要多实践,项目实践更好;从实际应用场景出发,用程序解决手头的一些繁琐复杂问题,这样才能加强自己对编程语言的应用。福利:如果对Python感兴趣的话,上述电子书+Python全套学习资料免费赠送,文末领取如果你是零基础小白,想快速入门Python是可以考虑的。一方面是学习时间相对较短,学习内容更全面更集中。二方面是可以找到适合自己的学习方案。

2301_81895257的博客 919

零基础学python用哪本书好,零基础学python书籍推荐

学习编程,单单只是看书是不够的,更重要的还是要多实践,项目实践更好;从实际应用场景出发,用程序解决手头的一些繁琐复杂问题,这样才能加强自己对编程语言的应用。福利:如果对Python感兴趣的话,上述电子书+Python全套学习资料免费赠送,文末领取如果你是零基础小白,想快速入门Python是可以考虑的。一方面是学习时间相对较短,学习内容更全面更集中。二方面是可以找到适合自己的学习方案。

high_colever的博客 1161

熟练掌握python最快需要多久_怎么自学python,大概要多久?

个人情况文科生一枚、互联网公司任职、没有coding的底子学习契机各种微信朋友圈广告、公众号广告说Python很简单,学了可以解决很多重复性的事情,学了就会数据分析怎么样,被这些话吸引了就想说去学一下,选定的方向是数据分析。现况自己每天花3小时照着书(主要是处理数据用的Pandas跟NumPy)敲code一个月,有天开始对优化自己手头工作有些想法,尝试写了些简单的东西(一开始真的磕磕碰碰,写一行就...

weixin_39965673的博客 217

学习Python编程语言-这28本有关Python书籍值得去了解

学习是一门学问,他不是只看书本的学习,这本书在问世的时候有些技术已经过时了,而书有自己的优点,作者选择的知识点都是经典的,都是经过推敲而写入的,书只是一个参照物,更新的技术还是要跟着老师学习,接触到最新的技术,回复资料,获取最新的Python的资料。想学习Python可以加微信回复报名。Python入门Python编程快速上手——让繁琐工作自动化作者: 【美】Al Sweigart(斯维加特)Py...

weixin_34123613的博客 570

python学精通要多久-python多久能精通

AlphaGo 都在使用的 Python语言,是最接近 AI 的编程语言。教育部考试中心近日公布了“关于全国计较机等级(NCRE)体系调解”的通知,抉择自2018年3月起,在全国计较机二级考试中参加了“Python语言轨范设计”科目。9个月前,浙江省信息课程更始方案已经出台,Python确定进入浙江省信息手艺教材,从2018年起浙江省信息手艺教材编程说话将会从vb改换为Python。小门生都学Py...

weixin_37988176的博客 403

python自学多久能精通-python多久可以精通

AlphaGo 都在使用的 Python语言,是最接近 AI 的编程语言。教育部考试中心近日公布了“关于全国计较机等级(NCRE)体系调解”的通知,抉择自2018年3月起,在全国计较机二级考试中参加了“Python语言轨范设计”科目。9个月前,浙江省信息课程更始方案已经出台,Python确定进入浙江省信息手艺教材,从2018年起浙江省信息手艺教材编程说话将会从vb改换为Python。小门生都学Py...

weixin_39884492的博客 280

Python语法实战:5个常见场景解析

特别是Web项目部署这个环节,传统流程需要买服务器、配Nginx,现在点个按钮就搞定了,特别适合做demo演示。平台提供的AI辅助功能很实用,当我想优化路径处理逻辑时,用DeepSeek模型给出的建议比原代码简洁了30%。在工具里我内置了一个销售数据分析案例,用户可以修改分组条件实时查看不同维度的统计结果。最近在整理Python学习笔记时,发现很多初学者虽然掌握了基础语法,但在实际项目中还是不知道如何应用。里修改路由逻辑后,点击部署按钮就能立刻生成可访问的线上链接,不用自己配置服务器。

ThunderstormLynx23的博客 725
上一篇: 医疗影像数据预处理-nrrd
下一篇: 神经网络推导
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值