Python/CPython 垃圾回收机制深度解析

Python/CPython 垃圾回收机制深度解析

cpython cpython: 是Python编程语言的官方源代码仓库，包含Python解释器和标准库的实现。 项目地址: https://gitcode.com/gh_mirrors/cp/cpython

概述

Python/CPython 采用了一套独特的垃圾回收机制，主要基于引用计数，并辅以循环垃圾收集器来处理循环引用问题。本文将深入剖析这套机制的设计原理、实现细节以及优化策略。

引用计数基础

CPython 的核心垃圾回收机制是引用计数。每个对象都会记录被引用的次数：

import sys
x = object()
print(sys.getrefcount(x))  # 输出2（临时引用+变量x）
y = x
print(sys.getrefcount(x))  # 输出3
del y
print(sys.getrefcount(x))  # 输出2

当引用计数归零时，对象会被立即回收。这种机制简单高效，但存在一个致命缺陷——无法处理循环引用。

循环引用问题

循环引用是指一组对象相互引用，形成一个环：

container = []
container.append(container)  # 自引用
del container  # 引用计数不会归零

为解决这个问题，CPython 引入了循环垃圾收集器(GC)。

内存布局与对象结构

默认构建的GC实现

在默认构建中，支持GC的对象在内存布局上增加了两个额外字段：

[PyGC_Head]
  *_gc_next
  *_gc_prev
[PyObject_HEAD]
  ob_refcnt
  *ob_type
  ...

这些字段用于维护GC跟踪的双向链表。通过类型转换((PyGC_Head *)(the_object)-1)可以访问这些字段。

自由线程构建的GC实现

自由线程构建使用不同的内存布局：

[PyObject_HEAD]
  ob_tid
  pad | ob_mutex | ob_gc_bits | ob_ref_local
  ob_ref_shared
  *ob_type
  ...

其中ob_gc_bits是一个1字节字段，用于跟踪GC状态。在垃圾收集期间，还会临时重用ob_tid和ob_ref_local字段。

循环引用检测算法

GC算法通过以下步骤识别不可达对象：

1. 初始化阶段：为每个候选对象设置gc_ref字段，初始值为其引用计数
2. 减量阶段：遍历所有容器对象，对它们引用的对象的gc_ref减1
3. 分离阶段：将gc_ref为0的对象标记为"暂定不可达"
4. 验证阶段：从已知可达对象出发，遍历其引用，将可达的对象移回可达列表
5. 清理阶段：最终留在不可达列表中的对象就是真正的循环垃圾

不可达对象销毁流程

1. 处理弱引用，将指向不可达对象的弱引用设为None
2. 对于有tp_del方法的对象，将其移至gc.garbage列表
3. 调用tp_finalize终结器
4. 处理复活对象（在终结器中重新引用的对象）
5. 调用tp_clear断开所有内部引用，使引用计数归零

优化策略

增量式垃圾收集

为了减少单次GC造成的停顿时间，CPython采用了分代收集策略：

• 将对象分为三代(0,1,2)
• 新创建的对象在第0代
• 存活下来的对象晋升到下一代
• 高频收集年轻代，低频收集老年代

这种策略基于"弱代假说"——大多数对象生命周期很短。

字段重用优化

为了节省内存，GC在不同场景下会重用_gc_next和_gc_prev字段：

• 当对象不在GC跟踪列表中时，这些字段可用于其他用途
• 在收集过程中，这些字段会被重新用于构建可达/不可达列表

两种GC实现的区别

从Python 3.13开始，CPython提供了两种GC实现：

1. 默认构建：依赖全局解释器锁(GIL)保证线程安全
2. 自由线程构建：在执行收集时会暂停其他线程

两者使用相同的基本算法，但在数据结构和线程安全机制上有所不同。

实际应用中的循环引用

循环引用在Python中比想象中更常见：

• 异常对象包含回溯对象，回溯又引用帧，帧又引用异常
• 模块级函数引用模块字典，模块字典又包含这些函数
• 类实例引用其类，类又引用模块，模块又可能引用实例
• 图数据结构中节点相互引用

理解GC机制有助于编写更高效的Python代码，特别是在处理大型数据结构或长期运行的应用时。

cpython cpython: 是Python编程语言的官方源代码仓库，包含Python解释器和标准库的实现。 项目地址: https://gitcode.com/gh_mirrors/cp/cpython