Python 为了提升性能,竟运用了共享经济

python多进程并发和数据共享(使用队列、大数组通信) 需求:运行主函数,实时监听子进程1输出,在子进程2空闲时,传给子进程2处理;在子进程忙时,暂存缓冲 # 子进程1 # 子进程2 # 主函数 致谢:https://blog.youkuaiyun.com/nescafe1111/article/details/15028739 ... 阅读详情
640?wx_fmt=jpeg

大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。

例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象(通常是 20)等等,字面量相等的对象实际上是同一个对象。

# 共用内存地址的例子
a = 100
b = 100
s = "python_cat"
t = "python_cat"

id(a) == id(b) # 结果:True
id(s) == id(t) # 结果:True

我很早的时候曾写过一篇《Python中的“特权种族”是什么?》,把这些对象统称为“特权种族”,它们是 Python 在内存管理机制上使用的优化技巧。

前不久,我还写了一篇《Python 内存分配时的小秘密》,也是介绍内存管理的技巧。

这两篇文章有所区别:旧文主要涉及了内存共用与对象驻留的机制,而新文介绍的是内存分配、动态扩容以及内存回收的相关机制。

它们令我不由自主地想到两个词:共享经济与供需平衡。

如果你没有读过那两篇文章,我强烈建议你先回看一下,然后再看看我的联想是否有道理:那几类特权种族对象其实是在共享内存,表面上的不同对象,其实是在循环利用;至于供需平衡也好理解,创建某些对象时,按照预期的诉求去分配内存,在扩容时则灵活调节,达到了供需之间的平衡。

透过现象看本质,Python 可以很有趣。

但是,Python 的有趣之处还不止于此,本文要继续分享另一种内存管理机制,在某种程度上,它实现了共享经济与供需平衡的融合,我们从中可揭开 Python 的另一重身份……

1、不可变对象的共享经济

上面列出的"特权种族"都是不可变对象(而“供需平衡”主要出现于可变对象),对于这些不变的对象,当出现多处使用时,共用一个对象似乎是种不错的优化方法。

我曾有一种猜想:Python 的不可变对象都可能是特权种族。

我没有试图去完全证实它,本文只想考察其中一种不可变对象:元组。它是不可变对象,那么,是否有共用对象的机制呢?

下面把它跟列表作一下对比:
# 空对象的差别
a = []
b = []
c = ()
d = ()

print(id(a)==id(b))  # 结果:False
print(id(c)==id(d))  # 结果:True

由此可见,两个空列表是不同的对象,而两个空元组其实是同一个对象。这至少说明了,空元组在内存中只有一个,它属于已提到的特权种族。

将实验延伸到集合与字典,它们是可变对象,你会发现结果跟列表一样,存在多个副本,即不是特权种族。我就不举例了。

由上述的实验结果,还能引出两个问题,但是它们偏离了本文主题,我不打算深入辨析,简单列一下:
  • 除了空元组,还有什么样的元组是“特权种族”?(PS:从元素的数量、类型、元素自身的大小考虑,就我小范围试验,还没发现。所以,空元组是独特的唯一?)
  • 编译期与运行期有所区别,这在之前写字符串的 intern 机制时(《Intern机制的软肋》)也分析过。(PS:print(id([]) == id([])),结果为 True,与上例先赋值再比较不同。)

2、可变对象的共享经济

空元组体现了共享经济,但由于它是不可变对象,所以不存在动态扩容,就只体现了极少的供需平衡。

作为对照,列表等可变对象充分表现了供需平衡,却似乎没办法体现共享经济。

比如说,我们把一个列表想象成一个可自增的杯子(毕竟它是某种容器),再把它的元素想象成不同种类的液体(水、可乐、酒……)。

那么,我们的问题是:两杯东西是否可以共享为一个对象呢?或者说,有没有可能共享那只杯子呢?这样就可以节省内存(在那篇讲小秘密的文章中展示过:“空杯子”占用的内存可不少),提升效率啦。

对于第一个问题,答案为否,验证过程略。对于第二个问题,在上一节中,我们已验证过两个空杯子(即空列表),答案也为否。

但是,第二个问题还有其它的可能!下面让我们换一种实验方法:
# 实验版本:Python 3.6.1
a = [[] for i in range(4)]
print(id(a))

for i in range(len(a)):
    print(f'{i} -- {id(a[i])}')
    # a[i] = 1 # PS:可去除注释,再执行一次,结果的顺序有差别

del a
print("after del")

b = [[] for i in range(4)]
print(id(b))

for i in range(len(b)):
    print(f'{i} -- {id(b[i])}')
以上代码在不同环境中,执行结果可能有所差异。我执行的一次结果如下:
2012909395656
0 -- 2012909395272
1 -- 2012909406472
2 -- 2012909395208
3 -- 2012909395144
after del
2012909395656
0 -- 2012909395272
1 -- 2012909406472
2 -- 2012909395208
3 -- 2012909395144

分析结果可知:列表对象在被回收之后,并不会彻底消除,它的内存地址会传递给新创建的列表,也就是说,新创建的列表其实共享了旧列表的内存地址!

再结合前面的例子,我们可以说,先后静态创建的两个列表会分配不同的内存地址,但是,经过动态回收之后,先后创建的列表可能是同一个内存地址!(注意:这里说的是“可能”,因为在新列表创建前,若有其它地方也在创建列表,那后者可能夺去先机。)

延伸到其它基本的可变对象,例如集合与字典,也有同样的共享策略,其目的显而易见:循环利用这些对象的“残躯”,可以避免内存碎片,提高执行性能。

共享一只杯子,总比重新创造一只杯子,要更高效便捷,对吧?

640?wx_fmt=jpeg
Python 解释器在实现这个机制时,使用了一个叫做 free_list的全局变量,其工作原理是:
  • 当创建新的对象时,则检查 free_list 内是否有可用对象,有则取出使用,没有则创建
  • 当这些对象被析构时,则检查 free_list 是否有剩余空间,有则存入其中
  • 某类对象存入 free_list 时,只保留“躯壳”,而清空其内部所有的元素(即只共享杯子,不共享杯中物)

640?wx_fmt=jpeg

图片来源:https://dwz.cn/QWD6RxOx

好了,现在我们可以说,列表、集合与字典这些可变对象,它们都不是前文所说的特权种族,但是,在它们背后都藏着循环使用的共享思想,这一点却是相通的。

Python 解释器在内存管理上真是煞费苦心啊,在那些司空见惯的基本对象上,它施加了诸多的小魔法,在我们毫不觉察的时候,它们有条不紊地运作,而当我们终于见识清楚后,就不得不感叹它的精妙了。

Python 算是一个精打细算的“经济学家”了。

回顾全文,最后作一个小结:
  • 较小的数字、较短的字符串、布尔值与空元组等不可变对象,它们存在着“共享经济”的机制,提升了内存的使用效率
  • 列表、集合与字典等可变对象,它们存在着预分配及超额分配等“供需平衡”的机制,提升了内存的分配效率
  • 列表等对象还存在着共享“容器外壳”的机制,循环利用空闲资源,综合提升程序性能

告诉朋友们,我在看640?wx_fmt=png
Ubuntu 20.04 上 Geant4 安装避坑全记录:从源码编译到 B1 示例跑通(含数据包加速下载) 本文详细记录了在Ubuntu 20.04系统上从源码编译安装Geant4的全过程,包括环境准备、依赖安装、CMake参数解析、多线程编译优化以及数据包加速下载等关键步骤。特别针对B1示例的测试与验证提供了完整流程,帮助科研人员和学生避开常见安装陷阱,提升粒子物理模拟效率。 阅读详情

相关推荐

西门子S7-1200 PLC与伺服电机控制实战解析

工业自动化控制系统中,PLC(可编程逻辑控制器)与伺服电机的协同工作是实现精密运动控制的核心技术。通过PROFINET工业以太网协议,PLC可以高效地控制多台伺服电机,实现定位、同步和插补等复杂运动。在实际工程应用中,硬件组态的正确配置和运动控制算法的优化是关键挑战。本文以西门子S7-1200 PLC控制五台伺服电机的项目为例,详细介绍了从硬件组态、运动控制程序实现到HMI界面设计的全流程。特别针对多轴同步插补运动、动态速度曲线调整等特殊工艺需求,提供了实用的解决方案和调试技巧,为工业自动化领域的工程师提供

weixin_30252709的博客 497

Python进程间实现数据共享

1. 使用队列的方式实现进程间的共享 import multiprocessing from multiprocessing import Queue class Test(): def __init__(self): self.name = '123' def get_attr(self,name,que): self.name = name que.put(self.name) if __name__ == "__main__"

不凡乃大的博客 883

半导体AMHS系统振动控制技术演进:从0.5G到超低振动的工艺革命

在半导体制造进入埃米级时代后,AMHS的振动控制能力将成为区分厂商技术等级的标尺。国内企业通过“弹性机械设计-混合主动控制-智能调度”的三重创新,正逐步突破0.2G阈值,支撑12英寸晶圆厂向3nm/2nm制程升级。未来,振动抑制不再仅是物流系统的性能参数,而是与光刻、刻蚀等核心工艺深度耦合的基础能力,这将重塑半导体设备产业的竞争格局。

m0_60674045的博客 1586

为啥Python运行速度这么慢 ?

作者:Anthony Shaw 是 Python 软件基金会成员和 Apache 基金会成员。 近来 Python 可谓人气骤升。这门编程语言用于开发运维(DevOps)、数据科学、网站开发和安全。 然而,它没有因速度而赢得任何奖牌。 Java 在速度方面与C、C++、C#或 Python 相比如何?答案很大程度上取决于你运行的应用程序的类型。没有哪个基准测试程序尽善尽美,不过 The ...

python学习者的博客 1万+

PPO实战:如何用强化学习让小车爬上MountainCarContinuous-v0山顶(附完整代码)

本文提供了使用PPO算法解决MountainCarContinuous-v0环境的完整实战教程。针对该环境的连续动作空间和稀疏奖励挑战,文章详细解析了PPO智能体的网络架构、状态归一化、GAE优势估计等核心实现,并附带了可直接运行的PyTorch代码。同时分享了关键的调参技巧和实战避坑指南,帮助读者高效训练智能体完成小车爬坡任务。

linux的博客 968

从基础知识到PCB设计,打造全能硬件工程师

成为一名出色的硬件工程师需要在多个领域建立坚实的基础。从硬件基础知识、元器件学习、模拟电子电路到PCB设计,以及数字电子电路与通信,每个方面都是构建全面硬件工程师技能集的重要组成部分。通过深入学习和实践这些领域,你将能够在硬件工程领域中取得更多的成就。

weixin_46969363的博客 2725

js打印线程id_Python中多线程与多进程中的数据共享问题!

之前在写多线程与多进程的时候,因为一般情况下都是各自完成各自的任务,各个子线程或者各个子进程之前并没有太多的联系,如果需要通信的话我会使用队列或者数据库来完成,但是最近我在写一些多线程与多进程的代码时,发现如果它们需要用到共享变量的话,需要有一些注意的地方多线程之间的共享数据Python资源共享群:484031800标准数据类型在线程间共享看以下代码#coding:utf-8 import thr...

weixin_39617497的博客 223

STM32CubeMX实战:TIM定时器中断配置避坑指南(附100ms精准定时代码)

本文深入解析STM32CubeMX配置TIM定时器中断的常见误区与避坑技巧,重点阐述时钟源、预分频器与自动重装载值的精准计算方法。通过实战案例,提供一份可直接复用的100ms精准定时中断代码模板,并分享调试验证方法,帮助开发者构建稳定可靠的嵌入式系统心跳。

grafana8visual的博客 500

Python为了提升性能,竟运用了共享经济

(由Python大本营付费下载自视觉中国)作者 | 豌豆花下猫来源 | Python猫(python_cat)大家或许知道,Python 为了提高内存的利用效率,采用了一...

Python大本营的博客 284

测试人必看!正交表与Allpairs工具对比:如何选择最适合你的组合测试方案?

本文深入对比了正交表、PICT与Allpairs三种主流组合测试方案,帮助测试人员根据项目场景做出最佳选择。文章分析了各自的核心原理、优劣势及适用场景,特别强调了在涉及复杂约束时PICT工具的强大功能,并提供了从原理学习到CI/CD集成的实战选型指南。

weixin_29224309的博客 269

061、LQR(线性二次型调节器)控制基础

本文介绍了LQR(线性二次型调节器)控制在飞控系统中的应用。作者通过一次四旋翼炸机事故引出PID控制的局限性,详细讲解了LQR的数学原理、权重矩阵的物理意义以及实际工程实现方法。文章对比了LQR与PID的控制效果,指出LQR在鲁棒性方面的优势,同时也分析了其存在稳态误差等缺点。最后总结了LQR在飞控中的适用场景,建议将LQR与PID结合使用,并预告了下一章将讨论带积分项的LQI控制。全文包含具体案例、代码实现和调参经验,为飞控算法开发者提供了实用指导。

2401_88858637的博客 721

python 经济论文_Python 为了提升性能,竟运用了共享经济

大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象(通常 是 20)等等,字面量相等的对象实际上是同一个对象。# 共用内存地址的例子a = 100b = 100s = "python_cat"t = "python_cat"id(a) == id(b) # 结果:...

weixin_39954569的博客 194

RK3588开发笔记-ISP模块参数调试

本文详细介绍了基于RK3588平台的ISP模块参数调试流程。主要内容包括:硬件准备(RK3588板卡、IMX415摄像头等)、软件环境搭建(Ubuntu系统、RKISP_Tuner工具)、IMX415摄像头基础使用验证、RKISP2.x Tuner工具的使用方法(新建/加载IQ参数文件、Sensor配置、Raw图采集)以及最终IQ文件的部署。文章重点强调了基础标定的重要性,建议开发者分场景调试并参考官方文档,通过合理配置ISP参数来优化图像质量。该调试流程适用于RK3588平台的图像采集类项目开发。

flypig has a dream! 839

python在经济学中的应用_Python 为了提升性能,竟运用了共享经济

大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象(通常 是 20)等等,字面量相等的对象实际上是同一个对象。# 共用内存地址的例子a = 100b = 100s = "python_cat"t = "python_cat"id(a) == id(b) # 结果:...

weixin_39620535的博客 804

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Python 为了提升性能,竟运用了共享经济!赶紧看看!!

大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。 例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象( 通常 是 20)等等,字面量相等的对象实际上是同一个对象。 我很早的时候曾写过一篇《Python中的“特权种族”是什么?》,把这些对象统称为“特权种族”,它们是 Python 在内存管理机制上使用的优化技巧。 前不久,我还写了一篇《Python 内存分配时的小秘密》,也是介绍内存管理的技巧。 这两篇文章有所..

weixin_45820912的博客 182

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

c程序性能优化:20个实验与达人技巧_Python 为了提升性能,竟运用了共享经济

大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象(通常 是 20)等等,字面量相等的对象实际上是同一个对象。# 共用内存地址的例子a = 100b = 100s = "python_cat"t = "python_cat"id(a) == id(b) # 结果:...

weixin_42566072的博客 122

Python 为了提升性能,竟然运用了共享经济

大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。 例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象(通常是 20)等等,字面量相等的对象实际上是同一个对象。 # 共用内存地址的例子 a = 100 b = 100 s = "python_cat" t = "python_cat" id(a) ==...

222

Python 运用了共享经济思想,只为提升性能!

????“Python猫” ,一个值得加星标的公众号大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。例如,对于那些数值较小的数字对象([...

Python猫 252

基于python的共享汽车管理平台

摘要:本研究基于Django框架和MySQL数据库,开发了一套共享汽车管理平台系统。系统采用B/S架构和三层设计模式,实现了用户管理、车辆信息管理、租赁预约、合同签订等功能模块。通过详细的需求分析和系统设计,构建了完整的数据库结构和功能框架。测试结果表明,系统运行稳定,能够有效提升共享汽车管理的规范性和效率。平台为租客和车主提供了便捷的交互界面,优化了传统汽车租赁流程,具有较高的实用价值和应用前景。关键词:共享汽车;管理平台;Django;MySQL;B/S架构

qq_69289313的博客 1194

基于python+vue闲置物品共享平台flask-django-php-nodejs

随着网上闲置物品共享不断的增加,越来越多的人们开始加入了网上闲置物品共享大潮中,但是我国网上闲置物品共享管理效果低下,而且出错率也很高。因此大家迫切需要一款更加专业化的闲置物品共享平台,设计该系统主要目的是为了方便用户可以有一个非常好的闲置物品共享平台,管理员也可以通过该系统进行更加方便的管理操作。

QQ511008285的博客 1030
上一篇: 一个前腾讯员工自述:月薪没有达到7万,但收获不止薪水
下一篇: Python 三连冠、揭晓 IEEE Spectrum 2019 年度编程语言排行榜
菜鸟学Python
博客等级 码龄9年 8087粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值