神操作!两行代码,提速 13 倍!让 Python 飞一般的感觉!

Python 3.13t 无GIL版本实战:解锁多核性能新境界 本文详细介绍了Python 3.13t无GIL(全局解释器锁)版本的实战体验。通过环境搭建、性能对比测试和迁移指南,展示了该版本如何通过‘自由线程’模式解锁多核CPU的并行计算潜力,为CPU密集型任务带来显著的性能提升,并探讨了其应用场景与潜在注意事项。 阅读详情

Python 本身是一门运行较慢的语言,因此对于计算场景,最好的优化方式就是优化代码写法。你可以使用现有的科学计算库:比如 Numpy 和 Scipy。但如果想要在不使用低级语言(如 CPython、Rust 等)实现扩展的前提下实现一个新的算法时,该如何做呢?

对于某些特定的、尤其是针对数组的计算场景,Numba 可以显著加快代码的运行速度。在使用时,我们有时候需要调整一下原始代码,而有时候却又不需要做任何改动。当它真正起到作用时,效果将会非常明显。

9286bf3153d4ccf8cc41ebed74f407e7.png

在本篇文章中,我们会谈及以下几方面:

  • 为什么 有时候单独使用 Numpy 是不够的

  • Numba 的基础使用方式

  • Numba 是如何在很高的层次上来对你的代码运行造成影响的

Numpy ”爱莫能助“的时刻

假设你想要将一个非常大的数组转变为按递增顺序排序:很好理解,就是将元素按值的大小升序排列,如:

[1, 2, 1, 3, 3, 5, 4, 6] → [1, 2, 2, 3, 3, 5, 5, 6]

以下是一个简单的就地转换方式:

def monotonically_increasing(a):
    max_value = 0
    for i in range(len(a)):
        if a[i] > max_value:
            max_value = a[i]
        a[i] = max_value

Numpy 运行很快,是因为它可以在不调用 python 自身解释器的前提下完成所有计算。但对于上面这个场景(python 中的循环),就会暴露出一个问题:我们会失去 Numpy 得天独厚的性能优势。

对一个含有一千万个元素的 Numpy 数组使用上面的函数进行转换,在我的电脑上需要运行 2.5 秒。那么,还可以优化得更快吗?

使用 Numba 提速

Numba 是一款为 python 打造的、专门针对 Numpy 数组循环计算场景的即时编译器。显然,这正是我们所需要的。让我们在原有函数的基础上添加两行代码试试:

from numba import njit

@njit
def monotonically_increasing(a):
    max_value = 0
    for i in range(len(a)):
        if a[i] > max_value:
            max_value = a[i]
        a[i] = max_value

再次运行,发现仅需要 0.19 秒,在完全重用旧代码逻辑的前提下,感觉效果还不错。

实际上 Numpy 也有一个特殊的函数可以解决这种场景(但是会修改原有函数的代码逻辑):`numpy.maximum.accumulate`[1] 。通过使用它,函数的运行时长会缩短至 0.03 秒。


Runtime
Python for loop2560ms
Numba for loop190ms
np.maximum.accumulate30ms

Numba 简介

在 Numpy 或 Scipy 中找到目标函数,可以很快解决常见的计算问题。但是如果函数不存在呢?(比如刚刚的 numpy.maximum.accumulate)。这种情况下如果想加速代码运行。可能会选择其他低级的编程语言来实现扩展[2],但这也意味着切换编程语言,会让模块构建和系统总体变得更复杂。

使用 Numba 你可以做到:

  • 使用 python 和拥有更快编译速度的解释器运行同一份代码

  • 简单快速地迭代算法

Numba 首先会解析代码,然后根据数据的输入类型以即时的方式编译它们。例如,当输入是 u64 数组和浮点型数组时,分别得到的编译结果是不一样的。

Numba 还可以对非 CPU 的计算场景生效:比如你可以 在 GPU 上运行代码[3]。诚然,上文中的示例只是 Numba 的一个最小应用,官方文档[4]中还有很多特性可供选择。

Numba 的一些短板

需要一次代码编译耗时

当第一次调用 Numba 修饰的函数时,它需要花费一定的时间来生成对应的机器代码。比如,我们可以使用 IPython 的 %time 命令来计算运行一个 Numba 修饰的函数需要花费多长时间:

In [1]: from numba import njit

In [2]: @njit
   ...: def add(a, b): a + b

In [3]: %time add(1, 2)
CPU times: user 320 ms, sys: 117 ms, total: 437 ms
Wall time: 207 ms

In [4]: %time add(1, 2)
CPU times: user 17 µs, sys: 0 ns, total: 17 µs
Wall time: 24.3 µs

In [5]: %time add(1, 2)
CPU times: user 8 µs, sys: 2 µs, total: 10 µs
Wall time: 13.6 µs

可以看到,函数第一次调用后运行非常慢(注意单位时毫秒而不是微秒),这就是因为它需要时间来编译生成机器代码。不过函数后面的运行速度会显著提升。这种时间成本在输入数据的类型发生变化时会再次消耗,比如,我们将输入类型换为浮点数:

In [8]: %time add(1.5, 2.5)
CPU times: user 40.3 ms, sys: 1.14 ms, total: 41.5 ms
Wall time: 41 ms

In [9]: %time add(1.5, 2.5)
CPU times: user 16 µs, sys: 3 µs, total: 19 µs
Wall time: 26 µs

计算两数之和当然不需要启用 Numba,这里用这个案例是因为能够比较容易地看出编译所需的时间成本。

与 python 和 Numpy 的不同实现方式

Numba 在功能方面可以说是实现了 python 的一个子集,也可以说是实现了 Numpy API 的一个子集,这将会导致一些潜在的问题:

  • 会出现 python 和 Numpy 部分特性都不支持的情况

  • 由于 Numba 重新实现了 Numpy 的 API,在使用时可能会出现以下情况

    • 由于使用的不用的算法,两者的性能表现会有区别

    • 可能会由于 bug 导致结果不一致

  • 另外,当 Numba 编译失败时,其暴露的错误信息可能会很难理解

Numba 与其他选项的对比

  • 仅使用 Numpy 和 Scipy:可以让 python 代码运行时达到其他语言编译器的速度,但是对于某些循环计算的场景不生效

  • 直接使用低级语言编写代码:这意味着你可以优化所有的代码语句,但是需要抛弃 python 使用另一门语言

  • 使用 Numba:可以优化 python 循环计算的场景,但是对于某些 python 语言本身和 Numpy API 的特性使用会受到限制

结语

Numba 最棒的地方在于尝试起来非常简单。因此每当你有一个做一些数学运算且运行缓慢的 for 循环时,可以尝试使用 Numba :运气好的话,它只需要两行代码就可以显著加快代码运行速度。

有兴趣的同学可以火速加入我们的星球

3周零基础入门提供10节课程

全年12节趣味实战项目含源码,

每月奖励优秀的Top3同学送书

专业的答疑群,大厂的老师保姆式的教学

如果不满意,三天内随意退款!一年88,现在优惠16元

63a7f81be8d948697e211c006bb5996f.png

扫码加入,3周零基础入门

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

年度爆款文案

点阅读原文,看200个Python案例!

Python idle多行代码运行.PNG Python 的Idle的使用时,多代码的程序的运行 File -New File--然后在编辑框了输入代码-save-在主界面显示结果 立即下载

相关推荐

Hypermesh二次开发实战:从Tcl/Tk脚本到Ext API的进阶之路

本文系统介绍了Hypermesh二次开发的进阶路径,从自动化重复操作的Tcl/Tk脚本入门,到利用HMASCII接口深度读写模型数据,最终深入Ext API进行高性能计算与功能定制。通过实战案例,帮助工程师掌握从脚本录制到C++插件开发的完整技能,显著提升CAE前处理效率与自动化水平。

weixin_29306875的博客 672

c++加速方法大全

我们平常写代码的时候,经常超时,非常难受,所以,我写了这篇文章,让你的代码提升速度(这些方法作者亲测有效,用了这些方法,足足提升了1秒!虽然最后题目还是没过)

ptyz306的博客 9828

radsystems的激活(破解)和使用

上个文章讲述了radsystems的下载,但是只有30天的免费使用权,这篇文章将会讲解如何破解激活radsystems。注意:如果不想去官网下载的话,点击安装包的exe文件。不要急,打开我给你们的安装包,点击crack。如果提示done则完成(我的是激活过的)注意:这是8.7版本的。点击generate。

weixin_65144487的博客 3532

加快程序速度的多种方法

有很多方法可以让你的程序运行得更快。一些方法是基于使用更高效的库,一些方法是以某种更有效的方式使用标准库和语言,而其他方法则包括使用更有效的算法。但有时,即使我们已经应用了所有可能的优化手段,代码性能仍不能令人满意。这时就需要我们调查代码并确保以最有效的方式使用所有可用硬件资源。在这篇文章中,我们介绍了旨在以有效方式使用硬件的软件开发技术,我们将探索 Parallelware Analyzer 工具如何通过充分利用硬件来帮助您提高代码性能。我们将讨论高效使用硬件的几个方面:使用所有可用的CPU内核、使用 G

旋极智能的博客 4664

手把手教你用WF100DPZ数字压力传感器搞定I2C/SPI通信(附完整寄存器解析)

本文详细解析了WF100DPZ数字压力传感器的I2C与SPI通信驱动方法,涵盖硬件连接、寄存器配置、数据读取流程及常见问题排查。该传感器内置24位ADC和出厂校准,通过实战代码演示了如何稳定获取高精度压力与温度数据,帮助开发者快速集成到嵌入式项目中。

weixin_28285943的博客 379

ThreeJS教程:地图案例(包围盒、正投影)

推荐:将加入你的3D工具链。

jianshi2023的博客 1008

深入剖析Python代码加速的21种实战技巧

Python以其简单易用和强大的功能,成为许多开发者的首选语言。然而,Python本身的解释型特性和全局解释器锁(GIL)在某些场景下会导致性能瓶颈。性能优化在数据处理、Web服务和大规模计算中尤为重要。本文旨在从多个层面深入探讨Python性能优化的21种实战技巧,帮助开发者更高效地提升代码性能。

引用原创内容标明出处即可 1478

linux安装配置Mysql详细步骤

下载Mysql rpm包 官网下载:https://dev.mysql.com/downloads/mysql/ 如果你到了这里,本地应该有了如下四个rpm包: mysql-community-client-5.7.26-1.el6.x86_64.rpm mysql-community-common-5.7.26-1.el6.x86_64.rpm mysql-community-libs-5...

🏆 前端领域优质创作者 7万+

如何加快你的代码呢——C++

相信大家一定在为超时而感到苦恼,今天小编来带来可以让你的C++代码加快的小技巧!

tianencun的博客 1860

机器人控制基础:伺服驱动器的泄放电阻

摘要:伺服驱动器泄放电阻用于消耗电机减速或制动时产生的再生电能,防止母线电压过高损坏元件。其核心作用是将多余电能转化为热能,规避硬件损坏和停机风险。选型需关注功率、阻值和封装三大参数,功率应匹配再生能量,阻值需符合驱动器要求,封装应满足散热需求。可通过动态监测母线电压或静态检测电阻阻值来判断其是否正常工作。

start_up_go的博客 384

osgEarth加载大疆数据

【代码】osgEarth加载大疆数据。

weixin_44769745的博客 308

Python加速运行技巧

Python 是一种脚本语言,相比 C/C++ 这样的编译语言,在效率和性能方面存在一些不足。但是,有很多时候,Python 的效率并没有想象中的那么夸张。本文对一些 Python 代码...

机器学习算法那些事 1022

【DaVinci Developer专题】-41-APP SWC如何读取写入NVM Block数据

APP SWC Port如何Read读取/Write写入NVM Block数据; DaVinci Developer中的Calibration Parameter/Per-Instance Memory/Service Need如何配置。

「汽车电子助手」的博客 4486

神操作!两行代码,提速 13 倍!让 Python 飞一般的感觉!(2)

在 Numpy 或 Scipy 中找到目标函数,可以很快解决常见的计算问题。但是如果函数不存在呢?(比如刚刚的这种情况下如果想加速代码运行。可能会选择其他低级的编程语言来实现扩展[2],但这也意味着切换编程语言,会让模块构建和系统总体变得更复杂。使用 Numba 你可以做到:使用 python 和拥有更快编译速度的解释器运行同一份代码简单快速地迭代算法Numba 首先会解析代码,然后根据数据的输入类型以即时的方式编译它们。例如,当输入是 u64 数组和浮点型数组时,分别得到的编译结果是不一样的。

2401_83641314的博客 669

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

神操作!两行代码,提速 13 倍!让 Python 飞一般的感觉!(1)

在 Numpy 或 Scipy 中找到目标函数,可以很快解决常见的计算问题。但是如果函数不存在呢?(比如刚刚的这种情况下如果想加速代码运行。可能会选择其他低级的编程语言来实现扩展[2],但这也意味着切换编程语言,会让模块构建和系统总体变得更复杂。使用 Numba 你可以做到:使用 python 和拥有更快编译速度的解释器运行同一份代码简单快速地迭代算法Numba 首先会解析代码,然后根据数据的输入类型以即时的方式编译它们。例如,当输入是 u64 数组和浮点型数组时,分别得到的编译结果是不一样的。

2401_84009065的博客 654

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

2024年Python最全神操作!两行代码,提速 13 倍!让 Python 飞一般的感觉!

在 Numpy 或 Scipy 中找到目标函数,可以很快解决常见的计算问题。但是如果函数不存在呢?(比如刚刚的这种情况下如果想加速代码运行。可能会选择其他低级的编程语言来实现扩展[2],但这也意味着切换编程语言,会让模块构建和系统总体变得更复杂。使用 Numba 你可以做到:使用 python 和拥有更快编译速度的解释器运行同一份代码简单快速地迭代算法Numba 首先会解析代码,然后根据数据的输入类型以即时的方式编译它们。例如,当输入是 u64 数组和浮点型数组时,分别得到的编译结果是不一样的。

2401_84562858的博客 577

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

神操作、两行代码,提速 13 倍—让 Python 飞一般的感觉

Python 本身是一门运行较慢的语言,因此对于计算场景,最好的优化方式就是优化代码写法。你可以使用现有的科学计算库:比如 Numpy 和 Scipy。但如果想要在不使用低级语言(如 CPython、Rust 等)实现扩展的前提下实现一个新的算法时,该如何做呢? 对于某些特定的、尤其是针对数组的计算场景,Numba 可以显著加快代码的运行速度。在使用时,我们有时候需要调整一下原始代码,而有时候却又不需要做任何改动。当它真正起到作用时,效果将会非常明显。 在本篇文章中,我们会谈及以下几方面: 为什么

m0_59485658的博客 351

神操作,两行代码,提速 13 倍,让 Python 飞一般的感觉

Python 本身是一门运行较慢的语言,因此对于计算场景,最好的优化方式就是优化代码写法。你可以使用现有的科学计算库:比如 Numpy 和 Scipy。但如果想要在不使用低级语言(如 CPython、Rust 等)实现扩展的前提下实现一个新的算法时,该如何做呢? 对于某些特定的、尤其是针对数组的计算场景,Numba 可以显著加快代码的运行速度。在使用时,我们有时候需要调整一下原始代码,而有时候却又不需要做任何改动。当它真正起到作用时,效果将会非常明显。 在本篇文章中,我们会谈及以下几方面: 为什么 有时

大模型教程的博客 216

使用 Numba 让 Python 计算得更快:两行代码,提速 13 倍

在 Numpy 或 Scipy 中找到目标函数,可以很快解决常见的计算问题。但是如果函数不存在呢?(比如刚刚的)。这种情况下如果想加速代码运行。可能会选择其他低级的编程语言来实现扩展[2],但这也意味着切换编程语言,会让模块构建和系统总体变得更复杂。使用 Numba 你可以做到:使用 python 和拥有更快编译速度的解释器运行同一份代码简单快速地迭代算法Numba 首先会解析代码,然后根据数据的输入类型以即时的方式编译它们。例如,当输入是 u64 数组和浮点型数组时,分别得到的编译结果是不一样的。...

sixqingfeng的博客 1061

大模型混合架构实战:提速2.3倍、降显存68%的工业级落地指南

大模型推理优化正从‘单体压榨’转向‘协同调度’,混合架构(Mixed Architectures)作为一种面向生产环境的工程范式,通过路由模型、轻量摘要器与主生成模型的分层协作,在保持精度前提下显著提升吞吐、压缩显存、降低首token延迟。其核心原理在于解耦计算密度与访存瓶颈、匹配任务粒度与模型能力、分离长上下文处理与短响应生成,技术价值体现在推理速度提升2.3~5.1倍、显存占用下降40%~68%、P99延迟稳定在500ms内。典型应用场景包括金融实时风控问答、医疗长文本报告生成、工业边缘设备部署等。本文

weixin_30407613的博客 452

Python 3.15 JIT实测!3行代码开启加速,Web性能提升30%

咱们写Python的,最怕听到一句话:“Python是好用,就是太慢了。这话听得耳朵起茧子了吧?以前去面试,人家问"Python有什么缺点",标准答案里必有一条"运行效率低"。搞Web开发的更明显,同样的接口,Go语言几毫秒搞定,Python可能得几十毫秒。虽然硬件越来越便宜,但用户可不管你这个,三秒打不开页面直接关掉走人。以前咱们怎么解决?要么换PyPy,要么写C扩展,要么干脆重写服务用Rust/Go。折腾半天,发现维护成本蹭蹭往上涨,头发掉得比代码行数还快。好消息来了!

人工智能AI技术 877
上一篇: 俄罗斯、乌克兰程序员薪资大曝光!
下一篇: 我心目中最棒的 10 个 Python 库
菜鸟学Python
博客等级 码龄9年 8095粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值