解码 Python 内核：迭代器与生成器在源码层的本质区别与实战指南

解码 Python 内核：迭代器与生成器在源码层的本质区别与实战指南

在 Python 的世界里，“迭代”几乎贯穿所有程序行为。从 for 循环、列表解析，到流式数据处理、异步调度，再到深度学习框架中的数据加载器……你几乎无处不在和“迭代器”与“生成器”打交道。

然而你是否思考过：

• 迭代器（Iterator）与生成器（Generator）看似类似，它们在 Python 内核（CPython）中到底有什么本质差异？
• yield 到底是如何改变函数行为的？
• 生成器为什么能保持执行状态？栈帧保存在哪里？
• 为什么生成器比迭代器更高效？
• for 循环与 next() 在解释器层面有何不同？

本文将系统地从使用层 → 语义层 → 字节码层 → CPython 源码层逐级剖析两者之间的区别，同时提供工程经验与最佳实践，力求让你“彻底掌握、理解透彻、能够在实战中灵活运用”。

---

一、开篇：Python 的简洁与强大为何离不开迭代系统？

Python 诞生于 1991 年，在 Guido 的设计哲学中，有两条价值观深刻影响了今天的 Python：

1. 优雅的语法与可读性
2. 面向对象且高度抽象的迭代协议

这也是为什么 Python 被称为“胶水语言”：它能把复杂结构抽象为“可迭代对象”，并以最小的成本实现大规模数据处理。

例如：

• Web 框架 Django 的 ORM 查询结果本质是迭代器
• NumPy 的数据流动基于迭代协议
• PyTorch DataLoader 会构造生成器以节省内存
• Pandas GroupBy 内部运行大量迭代器逻辑

写这篇文章，是想用我在工程项目与源码阅读中积累的经验帮助你从底层彻底理解迭代器与生成器的区别与优势，让你的 Python 编程水平跃升一个维度。

---

二、基础语法铺垫：迭代器与生成器到底是什么？（for 循环背后的秘密）

可迭代对象与迭代器的关系

Python 中所有可以用于循环的对象，都遵循迭代协议：

iter(obj) → 返回一个迭代器
next(iterator) → 获取下一个值

迭代器需要实现两个方法：

__iter__()  # 返回自身
__next__()  # 返回下一个元素，或抛 StopIteration

例如，手写一个迭代器：

class Counter:
    def __init__(self, n):
        self.n = n
        self.cur = 0

    def __iter__(self):
        return self

    def __next__(self):
        if self.cur < self.n:
            self.cur += 1
            return self.cur
        raise StopIteration

c = Counter(3)
for i in c:
    print(i)

---

三、生成器：迭代器的“高级形态”

当你在函数中使用 yield 时