Python的运行速度慢?不妨试试这几招

嵌入式开发工具链全解析:从编译器到调试器的实战指南 在嵌入式开发中,工具链的选型直接决定项目的成败,这与通用软件开发有着本质差异。交叉编译、链接脚本、调试接口、固件烧录等环节,每一步都紧密关联硬件资源约束。理解GCC、Arm Compiler等编译器的核心参数,掌握Makefile与CMake构建系统的演进逻辑,熟悉JTAG/SWD调试器及J-Link、ST-Link等工具的实际应用,是提升开发效率的关键。同时,通过优化等级、内存映射、ITM日志等调试技巧,可以有效应对程序异常与烧录故障。本文从工程实践出发,梳理嵌入式开发链路上各工具的分工与选型思路,帮助开 阅读详情

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

在如今,Python已经得到了全球程序员的喜爱,但它还是遭到了一些诟病,其中一个重要的原因就是认为它运行缓慢,Medium上一位小哥就详细讲了讲如何让python提速30%,以此证明代码跑得慢不是python的问题,而是代码本身的问题。
其实某个特定程序(无论使用何种编程语言)的运行速度是快还是慢,在很大程度上取决于编写该程序的开发人员自身素质,以及他们编写优化而高效代码的能力。

1.时序分析
在开始进行任何优化之前,我们首先需要找出代码的哪些部分使整个程序变慢。有时程序的问题很明显,但是如果你一时不知道问题出在哪里,那么这里有一些可能的选项:

注意:这是我将用于演示的程序,它将进行指数计算(取自Python文档):

# slow_program.py

from decimal import *

def exp(x):
    getcontext().prec += 2
    i, lasts, s, fact, num = 0, 0, 1, 1, 1
    while s != lasts:
        lasts = s
        i += 1
        fact *= i
        num *= x
        s += num / fact
    getcontext().prec -= 2
    return +s

exp(Decimal(150))
exp(Decimal(400))
exp(Decimal(3000))

最简约的“配置文件”

首先,最简单最偷懒的方法——Unix时间命令。

~ $ time python3.8 slow_program.py

real  0m11,058s
user 0m11,050s
sys 0m0,008s

如果你只能直到整个程序的运行时间,这样就够了,但通常这还远远不够。

最详细的分析

另外一个指令是cProfile,但是它提供的信息过于详细了。

~ $ python3.8 -m cProfile -s time slow_program.py

         1297 function calls (1272 primitive calls) in 11.081 seconds

   Ordered by: internal time

   ncalls tottime percall cumtime percall filename:lineno(function)
        3   11.079    3.693   11.079    3.693 slow_program.py:4(exp)
        1    0.000    0.000    0.002    0.002 {built-in method _imp.create_dynamic}
      4/1    0.000    0.000   11.081   11.081 {built-in method builtins.exec}
        6    0.000    0.000    0.000    0.000 {built-in method __new__ of type object at 0x9d12c0}
        6    0.000    0.000    0.000    0.000 abc.py:132(__new__)
       23    0.000    0.000    0.000    0.000 _weakrefset.py:36(__init__)
      245    0.000    0.000    0.000    0.000 {built-in method builtins.getattr}
        2    0.000    0.000    0.000    0.000 {built-in method marshal.loads}
       10    0.000    0.000    0.000    0.000 <frozen importlib._bootstrap_external>:1233(find_spec)
      8/4    0.000    0.000    0.000    0.000 abc.py:196(__subclasscheck__)
       15    0.000    0.000    0.000    0.000 {built-in method posix.stat}
        6    0.000    0.000    0.000    0.000 {built-in method builtins.__build_class__}
        1    0.000    0.000    0.000    0.000 __init__.py:357(namedtuple)
       48    0.000    0.000    0.000    0.000 <frozen importlib._bootstrap_external>:57(_path_join)
       48    0.000    0.000    0.000    0.000 <frozen importlib._bootstrap_external>:59(<listcomp>)
        1    0.000    0.000   11.081   11.081 slow_program.py:1(<module>)

在这里,我们使用cProfile模块和time参数运行测试脚本,以便按内部时间(cumtime)对行进行排序。这给了我们很多信息,你在上面看到的行大约是实际输出的10%。由此可见,exp函数是罪魁祸首,现在我们可以更详细地了解时序和性能分析。

时序特定功能

现在我们知道了应当主要关注哪里,我们可能想对运行速度缓慢的函数计时,而不用测量其余的代码。为此,我们可以使用一个简单的装饰器:

def timeit_wrapper(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        start = time.perf_counter() # Alternatively, you can use time.process_time()
        func_return_val = func(*args, **kwargs)
        end = time.perf_counter()
        print('{0:<10}.{1:<8} : {2:<8}'.format(func.__module__, func.__name__, end - start))
        return func_return_val
    return wrapper

然后可以将此装饰器应用于待测功能,如下所示:

@timeit_wrapper

def exp(x):
    ...

print('{0:<10} {1:<8} {2:^8}'.format('module', 'function', 'time'))
exp(Decimal(150))
exp(Decimal(400))
exp(Decimal(3000))

这给出我们如下输出:

~ $ python3.8 slow_program.py
module function   time  
__main__ .exp      : 0.003267502994276583
__main__ .exp      : 0.038535295985639095
__main__ .exp      : 11.728486061969306

需要考虑的一件事是我们实际想要测量的时间。时间包提供time.perf_counter和time.process_time两个函数。他们的区别在于perf_counter返回的绝对值,包括你的Python程序进程未运行时的时间,因此它可能会受到计算机负载的影响。另一方面,process_time仅返回用户时间(不包括系统时间),这仅是你的过程时间。

2.加速吧!
让Python程序运行得更快,这部分会很有趣!我不会展示可以解决你的性能问题的技巧和代码,更多地是关于构想和策略的,这些构想和策略在使用时可能会对性能产生巨大影响,在某些情况下,可以将速度提高30%。

使用内置数据类型

这一点很明显。内置数据类型非常快,尤其是与我们的自定义类型(例如树或链接列表)相比。这主要是因为内置程序是用C实现的,因此在使用Python进行编码时我们的速度实在无法与之匹敌。

使用lru_cache缓存/记忆

 

我已经在上一篇博客中展示了此内容,但我认为值得用简单的示例来重复它:

import functools
import time
# caching up to 12 different results
@functools.lru_cache(maxsize=12)
def slow_func(x):
    time.sleep(2) # Simulate long computation
    return x

slow_func(1) # ... waiting for 2 sec before getting result
slow_func(1) # already cached - result returned instantaneously!
slow_func(3) # ... waiting for 2 sec before getting result

上面的函数使用time.sleep模拟大量计算。第一次使用参数1调用时,它将等待2秒钟,然后才返回结果。再次调用时,结果已经被缓存,因此它将跳过函数的主体并立即返回结果。有关更多实际示例,请参见以前的博客文章。

使用局部变量
这与在每个作用域中查找变量的速度有关,因为它不只是使用局部变量还是全局变量。实际上,即使在函数的局部变量(最快),类级属性(例如self.name——较慢)和全局(例如,导入的函数)如time.time(最慢)之间,查找速度实际上也有所不同。

你可以通过使用看似不必要的分配来提高性能,如下所示:

# Example #1
class FastClass:
    def do_stuff(self):
        temp = self.value # this speeds up lookup in loop
        for i in range(10000):
            ... # Do something with `temp` here

# Example #2
import random
def fast_function():
    r = random.random
    for i in range(10000):
        print(r()) # calling `r()` here, is faster than global random.random()

使用函数
这似乎违反直觉,因为调用函数会将更多的东西放到堆栈上,并从函数返回中产生开销,但这与上一点有关。如果仅将整个代码放在一个文件中而不将其放入函数中,则由于全局变量,它的运行速度会慢得多。因此,你可以通过将整个代码包装在main函数中并调用一次来加速代码,如下所示:

def main():

    ... # All your previously global code

main()

不访问属性
可能会使你的程序变慢的另一件事是点运算符(.),它在获得对象属性时被使用。此运算符使用getattribute触发字典查找,这会在代码中产生额外的开销。那么,我们如何才能真正避免(限制)使用它呢?

# Slow:
import re
def slow_func():
    for i in range(10000):
        re.findall(regex, line) # Slow!

# Fast:
from re import findall
def fast_func():
    for i in range(10000):
        findall(regex, line) # Faster!

当心字符串
使用模数(%s)或.format()进行循环运行时,字符串操作可能会变得非常慢。我们有什么更好的选择?根据雷蒙德·海廷格(Raymond Hettinger)最近的推特,我们唯一应该使用的是f字符串,它是最易读,最简洁且最快的方法。根据该推特,这是你可以使用的方法列表——最快到最慢:

f'{s} {t}'  # Fast!
s + ' ' + t
' '.join((s, t))
'%s %s' % (s, t)
'{} {}'.format(s, t)
Template('$s $t').substitute(s=s, t=t) # Slow!

生成器本质上并没有更快,因为它们被允许进行延迟计算,从而节省了内存而不是时间。但是,保存的内存可能会导致你的程序实际运行得更快。这是怎么做到的?如果你有一个很大的数据集,而没有使用生成器(迭代器),那么数据可能会溢出CPU L1缓存,这将大大减慢内存中值的查找速度。

在性能方面,非常重要的一点是CPU可以将正在处理的所有数据尽可能地保存在缓存中。你可以观看Raymond Hettingers的视频,他在其中提到了这些问题。

3.结论
优化的首要规则是不要优化。但是,如果确实需要,那么我希望上面这些技巧可以帮助你。但是,在优化代码时要小心,因为它可能最终使你的代码难以阅读,因此难以维护,这可能超过优化的好处。

Python速度大比拼:与主流编程语言的速度对决 在评估用于具体业务的编程语言时,经常考虑的一个关键指标之一是执行速度。Python以其简单性和可读性而闻名,但有时却因其性能而受到质疑。在这个领域,我们需要深入比较分析Python在执行速度方面与其他流行的编程语言相比的情况。 阅读详情

相关推荐

【Python】执行速度慢

要优化Python的性能,首先必须深刻理解Python代码是如何被解释器执行的,以及哪些内在机制是造成其“慢”的根本原因。我们将从最常见的CPython解释器入手,一层层剥开其神秘的面纱。Python并不是一种编译型语言,而是一种解释型语言。这意味着你的Python源代码不会直接被CPU执行,而是需要一个解释器来将其翻译并执行。CPython,作为官方且最常用的Python解释器,其内部架构和执行流程是理解性能瓶颈的关键。当我们运行一个Python文件时,CPython解释器会经历以下核心步骤:1. 词法分

宅男很神经 884

让你的Python运行更快

讨厌Python的人总是说,他们不想使用它的原因之一是它很慢。嗯,特定程序(无论使用何种编程语言)是快还是慢,在很大程度上取决于编写该程序的开发人员以及编写优化而快速的...

The_syx的博客 491

Python优化技巧:提升程序运行速度

Python拥有丰富的第三方库和内置函数,可以帮助优化程序的性能。熟悉这些库和函数,并选择最适合你需求的工具,可以显著提高程序的运行速度。在本文中,我将介绍一些有效的技巧,可以帮助优化Python程序的运行速度。因此,在优化程序之前,建议先进行性能分析,找到程序的瓶颈所在,然后有针对性地进行优化。在处理大量数据时,使用合适的数据结构可以显著提高程序的执行效率。在编写代码时,避免进行不必要的计算可以显著提高程序的性能。如果程序中存在重复计算相同的结果的情况,可以考虑使用缓存来避免重复计算。

PixelEnigma的博客 521

[Python] 提高Python运行速度(大方向)

Python版本是在不停迭代更新的,每次更新都会包含优化内容,这其中不但会优化内置函数、内置方法、更新模块,增加新的语法、模块等,还会优化运行速度,截止目前,最新的Python11某些方便运行速度相较于旧版本更是提升30%左右。Python本地库functools中的装饰器:@functools.lru_cache,它就能够缓存函数最近的调用,当缓存的值在特定时间内保持不变的时候这个非常好用,比如递归调用问题。同样的,在Python编程中,如果有专门的库,那么处理起来也事半功倍,而且效率也高。

知智 7971

InternVL 3.5 深度解析:开源多模态模型的新里程碑

InternVL 3.5是由上海人工智能实验室OpenGVLab团队推出的开源多模态大模型,在推理能力、效率和灵活性方面取得突破。该模型采用ViT-MLP-LLM架构,包含60亿参数的InternViT-6B视觉编码器和多种规格的语言模型骨干。核心创新包括:1)Cascade RL强化学习框架,通过离线热身和在线强化两阶段训练提升推理能力;2)ViR视觉分辨率路由器,动态调整图像处理分辨率以优化计算效率;3)DvD动态视觉token压缩技术。模型系列涵盖2B到241B参数规模,满足从边缘设备到高性能计算的不

m0_47999117的博客 1031

RK3568-Linux-麒麟系统---更新制作麒麟rootfs

RK3568 Linux系统 麒麟国产麒麟镜像

qiuzw2003的博客 5362

python循环使用正则表达式匹配速度慢

1.问题描述 现在有一系列的模糊匹配规则,需要对一个文档中的每一个句子利用每一个匹配规则进行正则匹配,具体代码如下: # sentences为句子列表 # re_str为正则表达式列表,其中元素类似 "^你好&" 这种正则表达式 for sent in sentences: for pattern in re_str: if re.findall(pattern, sent): print(sent) break 代码

lichaobxd的博客 3941

uniapp实战:5分钟搞定PDA激光扫码功能(附完整代码)

本文详细介绍了在Uniapp应用中快速集成工业PDA激光扫码功能的实战方案。通过解析PDA硬件扫码与手机摄像头扫码的核心机制差异,提供了完整的广播监听封装类代码,并演示了在Vue页面中的集成使用方法,帮助开发者高效解决仓储、零售等行业的条码扫描需求。

weixin_29239661的博客 457

Llama-3.2V-11B-cot 环境问题排查大全:从安装包缺失到 GPU 内存不足的解决方案

本文介绍了在星图GPU平台上自动化部署Llama-3.2V-11B-cot镜像的解决方案,并重点解析了从环境配置到GPU内存不足等常见问题的排查方法。该多模态大模型能够处理图像与文本输入,典型应用场景包括根据图片内容生成描述或回答相关问题,助力开发者快速搭建视觉语言理解应用。

weixin_42584507的博客 215

Echocardiography Image Segmentation: A Survey(超声心动图图像分割方法综述--中文翻译)

Echocardiography Image Segmentation: A Survey 摘要:尽管超声图像的获取是较廉价,并且免于辐射的,但是超声图像因为信号衰减、斑点噪声等干扰,使得超声图像的分割具有较大挑战。本文将近些年应用于超声心动图像分割的相关方法进行了分类总结,并列出了10篇具有原创思想的文章,这些文章具有特殊的临床使用价值或是对于超声心动图像分割具有指导意义。 关键词:超声心动...

mrj4124的博客 5100

Orange3实战教程:实例---文本分类

我们可以使用预测模型按作者、类型、情感等对文档进行分类。在此工作流中,我们根据文档的Aarne Thompshon Uther索引对文档进行归类,这是故事的主题定义。我们使用两个简单的学习器,Logistic回归和朴素贝叶斯,两者都可以在诺谟图中检查。然后再从可视化分类中添加列线图组件,观察哪些词对逻辑回归最重要。也可以尝试使用在朴素贝叶斯模型上,并编辑连线属性。再从模型中添加朴素贝叶斯模型,以尝试不同的学习器。

err2008的专栏 386

免费开源的UVR5人声分离工具,快速把任意歌曲拆成人声与伴奏

先说一个让很多人第一反应是"骗人的吧"的事实:你硬盘里那首普通MP3,一两分钟内就能被拆成两半——一半是纯净人声,一半是完整伴奏,全程免费,不需要任何乐理功底,也不用对着命令行瑟瑟发抖。做到这件事的,就是今天的主角:**UVR5人声分离工具**(Ultimate Vocal Remover),一个用深度神经网络驱动、源码完全开源的图形化程序。更难得的是,它没有把专业功能藏在深水区:界面开箱即用,模

gitblog_00217的博客 460

机器学习初探——用线性回归预测股价趋势

在进入代码之前,先建立一个大框架。类型一句话解释金融中的应用监督学习给机器“标准答案”让它学预测股价(历史数据→未来价格)无监督学习不给答案,让机器自己找规律把相似股票自动归类、发现异常交易强化学习让机器通过“试错”学习最优策略AI自动交易、量化策略优化我们现阶段只学“监督学习”——这是最常用、最容易上手的。准备一堆“特征”和对应的“标签”(比如:历史的第N天 → 那天的价格)喂给机器一个“算法”(比如线性回归)机器“拟合”出一个规律(比如找到一条最合适的直线)

111

python运行非常慢的解决-提升Python程序运行效率的6个方法

Python是一个很酷的语言,因为你可以在很短的时间内利用很少的代码做很多事情。不仅如此,它还能轻松地支持多任务,比如多进程等。Python批评者有时会说Python执行缓慢。本文将尝试介绍6个技巧,可加速你的Python应用程序。1.让关键代码依赖于外部包虽然Python让许多编程任务变得容易,但它可能并不总能为紧急的任务提供最佳性能。你可以为紧急的任务使用C、C++或机器语言编写的外部包,这样...

weixin_37988176的博客 6903

Open3d (C++) RANSAC拟合圆柱(详细过程版)

实现了一种基于RANSAC算法的圆柱拟合方法。

点云侠的博客 243

CANbus收发器ADM3053BRWZ-REEL7应用原理图设计

ADM3053 在 CAN 协议控制器与物理层总线之间创建一个 完全隔离的接口。该器件具有限流和热关断特性,可防止输出短路。额定温 度范围为工业温度范围,提供 20 引脚、宽体 SOIC 封装。该器件采用 5 V 单电源供电, 提供完全隔离的 CAN 解决方案。ADM3053 是一款隔离式控制器区域网络 (CAN) 物理层收 发器,集成隔离 DC/DC 转换器,符合 ISO 11898 标准。该器件采用 ADI 公司的。Coupler® 技术,将双通道隔离器、 CAN 收发器和 ADI 公司的。

zhusl6688的博客 1259

Python代码运行很慢?研究提速的方法,子程序运行效率比主程序更快,jit装饰器使运算速度大增

Python的运行效率众所周知普遍比其他编程语言慢。为了提升Python的运行效率我作了几个测试,无意中发现子程序的运行效率比主程序更快。举个简单的例子,从1数到1亿,通过计时对比,子程序运行比主程序快了40%以上。

Scott0902的博客 2095

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

不得不服!Python速度虽然慢,但是它工作效率很高!

让我们来讨论一个我最近一直在思考的问题:Python 的性能。顺便说一下,我是 Python 的忠实拥趸,我在各种情况下都会积极尝试使用 Python 来解决问题。大家对 Python 最大的抱怨就是它的速度慢。有些人甚至因为 Python 的速度不如某个语言而拒绝使用它。本文中我将阐述,即便 Python 这么慢,为什么还值得你对它进行尝试。更多Python视频、源码、资料加群683380553免费获取。

Python栈 1025

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

python使用 SSCursor (流式游标) 在循环中执行任务卡住

一开始设置set global net_write_timeout, 但是通过navicat查看show global variables like ‘%timeout%’;和通过cmd查看显示的内容有不同,遂通过修改my.ini方式,但一开始程序仍然卡住不报错,后面突然好了。记录下这个问题,以及相关的操作。如果有大佬能够指点一下,感激不尽!

kewang18的博客 973

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Python运行时加快速度的10种技巧

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。另一方面,集合的s操作中x的平均情况为O(1)。观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

m0_59236602的博客 2280

90%的人都在说Python程序慢,5大神招让你的代码像赛车一样跑起来

很多人抱怨说自己写的Python代码跑的慢,尤其是当处理的数据集比较大的时候,其实稍微改动几行代码就可以让你的代码性能提高好几倍,不信一起来看下面这个5个小技巧。 1.for 循环 二者的性能差距有多大呢,一般我们用内置的timeit模块来量化比较: 把传统的for改成推导列表,高下立判,性能提高了很多,提升了200% 2.用set而不用list 我们再来看一个常见的场景,搜索性能的时候用set...

weixin_43649691的博客 997

这8种Python加速运行技巧真棒

其会预分配一定内存空间,当预分配的内存空间用完,又继续向其中添加元素时,会申请一块更大的内存空间,然后将原有的所有元素都复制过去,之后销毁之前的内存空间,再插入新元素。如果你的代码运行速度很慢,首先要找到代码运行慢的位置,通常是内部循环,专注于运行慢的地方进行优化。Python 内置的数据结构如 str , tuple , list , set , dict 底层都是 C 实现的,速度非常快,自己实现新的数据结构想在性能上达到内置的速度几乎是不可能的。优化是有代价的,想解决所有性能的问题是几乎不可能的。

Python专栏 2714

15个技巧让Python程序飞速运行

本文介绍了15个让Python程序飞速运行的技巧,包括使用内置函数和库、列表推导式、生成器表达式、集合成员检查、字典映射、局部变量、缓存结果、numpy和pandas库、并行和异步处理、cython和numba编译、性能分析工具等。通过这些技巧,你可以写出更高效、更优雅的Python代码。

mqwguardain的博客 636

Python学习之re.compile与findall

在做项目的过程中,有时候需要再一个几万行的代码里找到某个信号,并且把它拷贝出来用。信号的定义格式是相同的,但是编号不相同,如下图所示。按道理说可以利用vim的查找功能一个个找,然后一个个地手工拷贝。如果电路有修改和迭代,查找+拷贝的方式太费时费力了,所以想到用python来处理这种有规律的、重复性的工作。 re.compile() 用正则表达式可以匹配到我想找出的信号,使用正则表达式匹配之前将re模块导入。 import re re.compile()函数用于编译正则表达式,生成一个Pattern对象,供

JJJJJJJerry的博客 1万+

5个小技巧提升Python运行速度

官方原文,代码均可运行 Python 是世界上使用最广泛的编程语言之一。它是一种解释型高级通用编程语言,具有广泛的用途,几乎可以将其用于所有事物。其以简单的语法、优雅的代码和丰富的第三方库而闻名。python除了有很多优点外,但在速度上还有一个非常大的缺点。 虽然Python代码运行缓慢,但可以通过下面分享的5个小技巧提升Python运行速度! 首先,定义一个计时函数timeshow,通过简单的装饰,可以打印指定函数的运行时间。 这个函数在下面的例子中会被多次使用。 def timeshow(func)

pythontip的博客 3350
上一篇: 解决使用Pycharm调用Turtle时窗口闪关的问题
下一篇: 用Python制作动态饼图
酸菜鱼编程
博客等级 码龄6年 155粉丝 63原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值