Python基础教程（十九）生成器：Python生成器的魔法：用革命性迭代技术重塑你的代码效率-优快云博客

Python生成器：暂停时间的魔法，让内存颤抖的高效迭代术》，当我们面对千万级数据流时，传统列表操作往往让程序崩溃在内存洪流中。Python生成器正是打破这一困局的革命性武器——它不仅是迭代器，更是一种惰性计算的艺术，一种内存优化的极致策略。

🔍 核心本质：中断与恢复的协程思维

生成器的核心魔法在于yield关键字——一个能暂停函数执行的神奇开关。与传统函数不同，生成器函数在yield处冻结当前状态（包括局部变量、指令指针），等待下一次唤醒：

def fibonacci_gen():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a + b  # 状态在此冻结，下次调用从此恢复

# 创建生成器对象（不立即执行）
fib = fibonacci_gen()  
print(next(fib))  # 0  → 首次执行到yield暂停
print(next(fib))  # 1  → 恢复执行至下一轮yield

⚡ 内存效率革命：从O(n)到O(1)

对比传统列表处理，生成器实现常数级内存消耗：

方法	处理1GB文件内存占用	执行速度
列表存储	>1 GB	慢（完整加载）
生成器流处理	<10 MB	实时流式

# 传统方式：内存杀手
with open('huge.log') as f:
    lines = f.readlines()  # 1GB文件直接撑爆内存
    for line in lines:
        process(line)

# 生成器方案：内存救星
def stream_log(file):
    while True:
        line = file.readline()
        if not line: 
            break
        yield line  # 逐行生成，内存恒定

with open('huge.log') as f:
    for line in stream_log(f):  # 每次仅加载一行
        process(line)

✨ 双向通信：send()方法的协程桥梁

生成器不仅是数据生产者，还能通过send()接收外部输入，实现双向通信管道：

def interactive_gen():
    print("Ready to receive")
    while True:
        data = yield  # 暂停等待数据输入
        print(f"Received: {data}")

gen = interactive_gen()
next(gen)  # 启动生成器（执行到首行yield）
gen.send("Python")  # 输出：Received: Python
gen.send("Generator") # 输出：Received: Generator

此特性奠定了Python异步编程的基础，是asyncio库的底层支柱之一。

🚀 进阶技巧：生成器表达式与管道组合

生成器表达式提供更简洁的惰性计算语法：

# 传统列表推导（立即计算）
squares_list = [x**2 for x in range(1000000)]  # 占用大量内存

# 生成器表达式（惰性计算）
squares_gen = (x**2 for x in range(1000000))  # 几乎0内存占用
print(next(squares_gen))  # 0
print(next(squares_gen))  # 1

管道式组合实现数据处理流水线：

# 生成器管道：读取 → 过滤 → 转换
lines = (line.strip() for line in open('data.txt'))
numbers = (int(line) for line in lines if line.isdigit())
squares = (x**2 for x in numbers)

# 触发计算
sum(squares)  # 流式处理完成求和

🌟 性能实测：生成器VS列表

import time, sys

# 生成1千万数据的性能对比
def test_generator():
    start = time.time()
    gen = (i for i in range(10**7))
    print(f"生成器创建时间: {time.time()-start:.4f}s")
    print(f"内存占用: {sys.getsizeof(gen)} bytes")

def test_list():
    start = time.time()
    lst = [i for i in range(10**7)]
    print(f"列表创建时间: {time.time()-start:.4f}s")
    print(f"内存占用: {sys.getsizeof(lst)} bytes")

test_generator()
# 输出: 生成器创建时间: 0.0000s
#       内存占用: 112 bytes

test_list()
# 输出: 列表创建时间: 0.8123s
#       内存占用: 81528056 bytes (约80MB)