上一节介绍了在模型的推理优化过程中,动态内存申请会带来额外的性能损失。
Python 语言在性能上之所以没有c++高效,有一部分原因就在于Python语言将内存的动态管理过程给封装起来了,我们作为 Python 语言的使用者是看不到这个过程的。
这一点有点类似于 c++ 标准库中的一些操作, c++的标准库中提供了很多容器,常见的有vector,也就是数组,可类比于python中的列表,还有字符串string。
这一类的容器在使用过程中是会动态管理内存的,如果数据量过大,就会不断的申请内存,从而造成程序运行的性能下降。
下面以字符串为例简要说明一下这个动态申请内存的过程。
当我们最初定义一个字符串时,假设str1 = ‘123’,系统会在电脑的内存中申请一块内存用来存放123。

申请内存的过程是动态的,也就是说在程序运行过程中边运行边申请。
如果我们要完成一个字符串的拼接过程,假设还有另一个字符串str2='456'。
本文讨论了Python字符串动态内存管理如何影响性能,并举例说明字符串拼接过程中的内存申请与释放。通过实战仓库中的例子,展示了如何优化字符串操作以提高模型推理效率,如在C++实现的resnet50代码中避免字符串拼接。优化措施包括用计数器代替字符串拼接,减少内存碎片,提升模型推理性能。建议在高性能计算和AI模型优化时关注类似C++的语法技巧。
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



