Python 对象内存占用

本文详细探讨了Python中各种对象的内存占用情况,包括布尔型、整型、浮点型、字符串、集合类型等的基本类型及特性,并通过实例展示了如何使用sys.getsizeof()函数计算Python对象的内存占用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Python 对象内存占用

(github地址)

之前写的脚本中,需要估计程序的内存占用,所以简单研究下Python各种对象在内存中占用大小。

本人对 Python 一直处在使用的阶段,没有进行深入研究。所以有什么错误还请指出,欢迎交流。

一切皆是对象

在 Python 一切皆是对象,包括所有类型的常量与变量,整型,布尔型,甚至函数。 参见stackoverflow上的一个问题 Is everything an object in python like ruby

代码中即可以验证:

 # everythin in python is object def fuction(): return print isinstance(True, object) print isinstance(0, object) print isinstance('a', object) print isinstance(fuction, object) 

如何计算

Python 在 sys 模块中提供函数 getsizeof 来计算 Python 对象的大小。

sys.getsizeof(object[, default])

以字节(byte)为单位返回对象大小。 这个对象可以是任何类型的对象。 所以内置对象都能返回正确的结果 但不保证对第三方扩展有效,因为和具体实现相关。

......

getsizeof() 调用对象的 __sizeof__ 方法, 如果对象由垃圾收集器管理, 则会加上额外的垃圾收集器开销。

当然,对象内存占用与 Python 版本以及操作系统版本关系密切, 本文的代码和测试结果都是基于 windows7 32位操作系统。

 import sys print sys.version 

2.7.2 (default, Jun 24 2011, 12:21:10) [MSC v.1500 32 bit (Intel)]

基本类型

  • 布尔型

    print 'size of True: %d' % (sys.getsizeof(True)) print 'size of False: %d' % (sys.getsizeof(False)) 

    输出:

    size of True: 12 size of False: 12 
  • 整型

    # normal integer print 'size of integer: %d' % (sys.getsizeof(1)) # long print 'size of long integer: %d' % (sys.getsizeof(1L)) print 'size of big long integer: %d' % (sys.getsizeof(100000L)) 

    输出:

    size of integer: 12x size of long integer 1L: 14 size of long integer 100000L: 16 

    可以看出整型占用12字节,长整型最少占用14字节,且占用空间会随着位数的增多而变大。 在2.x版本,如果整型类型的值超出sys.maxint,则自动会扩展为长整型。而 Python 3.0 之后,整型和长整型统一为一种类型。

  • 浮点型

    print 'size of float: %d' % (sys.getsizeof(1.0)) 

    输出:

    size of float: 16 

    浮点型占用16个字节。超过一定精度后会四舍五入。参考如下代码:

    print 1.00000000003 print 1.000000000005 

    输出:

    1.00000000003 1.00000000001 
  • 字符串

    # size of string type print '\r\n'.join(["size of string with %d chars: %d" % (len(elem), sys.getsizeof(elem)) for elem in ["", "a", "ab"]]) # size of unicode string print '\r\n'.join(["size of unicode string with %d chars: %d" % (len(elem), sys.getsizeof(elem)) for elem in [u"", u"a", u"ab"]]) 

    输出:

    size of string with 0 chars: 21 size of string with 1 chars: 22 size of string with 2 chars: 23 size of unicode string with 0 chars: 26 size of unicode string with 1 chars: 28 size of unicode string with 2 chars: 30 

    普通空字符串占21个字节,每增加一个字符,多占用1个字节。Unicode字符串最少占用26个字节,每增加一个字符,多占用2个字节。

集合类型

  • 列表

    # size of list type print '\r\n'.join(["size of list with %d elements: %d" % (len(elem), sys.getsizeof(elem)) for elem in [[], [0], [0,2], [0,1,2]]]) 

    输出:

    size of list with 0 elements: 36 size of list with 1 elements: 40 size of list with 2 elements: 44 size of list with 3 elements: 48 

    可见列表最少占用36个字节,每增加一个元素,增加4个字节。但要注意,sys.getsizeof 函数并不计算容器类型的元素大小。比如:

    print 'size of list with 3 integers %d' % (sys.getsizeof([0,1,2])) print 'size of list with 3 strings %d' % (sys.getsizeof(['0','1','2'])) 

    输出:

    size of list with 3 integers 48 size of list with 3 strings 48 

    容器中保存的应该是对元素的引用。如果要准确计算容器,可以参考recursive sizeof recipe 。使用其给出的 total_size 函数:

    print 'total size of list with 3 integers %d' % (total_size([0,1,2])) print 'total size of list with 3 strings %d' % (total_size(['0','1','2'])) 

    输出为:

    total size of list with 3 integers 84 total size of list with 3 strings 114 

    可以看出列表的空间占用为 基本空间 36 + (对象引用 4 + 对象大小) * 元素个数。

    另外还需注意如果声明一个列表变量,则其会预先分配一些空间,以便添加元素时增加效率:

    li = [] for i in range(0, 101): print 'list with %d integers size: %d, total_size: %d' % (i, getsizeof(li), total_size(li)) li.append(i) 
  • 元组

    基本与列表类似,但其最少占用为28个字节。

  • 字典

    字典的情况相对复杂很多,具体当然要参考代码 dictobject.c, 另外 NOTES ON OPTIMIZING DICTIONARIES 非常值得仔细阅读。

    基本情况可以参考[stackoverflow] 的问题 Python's underlying hash data structure for dictionaries 中的一些回答:

    1. 字典最小拥有8个条目的空间(PyDict_MINSIZE);
    2. 条目数小于50,000时,每次增长4倍;
    3. 条目数大于50,000时,每次增长2倍;
    4. 键的hash值缓存在字典中,字典调整大小后不会重新计算;

    每接近2/3时,字典会调整大小。

    其中一个回答的留言也很有意思: Python如此依赖字典且字典广泛地影响这门语言的性能, 我敢打赌他们的实现很难超越。

    暂时写这些,今后有时间会进一步研究字典的实现。

转载于:https://www.cnblogs.com/Lvkun/archive/2012/03/01/python_object_memory_usage.html

### Python 对象内存管理深度解析 Python对象内存管理机制是一个复杂但高效的体系,主要包括以下几个核心部分: #### 1. 引用计数 Python 使用引用计数作为其主要的内存管理策略之一。每个对象都维护了一个 `ob_refcnt` 属性,用于记录该对象当前被引用的次数[^5]。当一个新变量指向这个对象时,引用计数加一;反之,如果某个变量不再指向它,则引用计数减一。一旦引用计数降为零,说明没有任何地方再使用此对象,此时 Python 将自动释放该对象占用内存。 #### 2. 垃圾回收机制 除了引用计数外,Python 还提供了一套完整的垃圾回收系统以处理更复杂的场景,例如循环引用等问题。具体来说,Python 的垃圾回收分为三类: - **引用计数**:实时追踪对象的生命周期。 - **标记清除**:针对无法通过简单引用计数解决的情况(如循环引用),定期扫描未被访问的对象并清理它们。 - **分代回收**:基于对象存活时间的不同将其划分为多个世代,优先回收较年轻的对象,从而提高性能效率[^3]。 可以通过导入标准库中的 `gc` 模块来自定义这些行为设置参数或强制执行某些操作。 #### 3. 内存池机制 对于小型对象 (<256KB),Python 利用了专门设计的小型缓冲区分配器 Pymalloc 来进一步优化资源利用状况。这种方式能够显著降低因频繁申请/释放小块空间而导致的整体开销,并减少由于长期运行可能引发的碎片化现象发生几率[^4]。 以下是展示如何查看某特定实例内部状态以及手动触发GC过程的一个例子: ```python import sys import gc class MyClass: pass obj = MyClass() print(f"Reference count before creating a new reference: {sys.getrefcount(obj)}") another_reference = obj print(f"Reference count after creating another reference: {sys.getrefcount(obj)}") del another_reference print(f"Reference count after deleting one of the references: {sys.getrefcount(obj)}") # Manually run garbage collection collected_objects = gc.collect() print(f"{collected_objects} objects were collected during manual GC.") ``` 上述脚本展示了基本原理的同时也体现了灵活性所在之处在于允许程序员介入控制流程当中去调整适应不同需求环境下的表现形式. --- ####
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值