32、Python 数据处理与文件操作全解析

Python 数据处理与文件操作全解析

1. 迭代器与生成器的高效运用

在 Python 编程中，迭代器和生成器是非常强大的工具，它们能帮助我们更高效地处理数据。

1.1 多容器元素迭代

当需要对不同容器中的元素执行相同操作时，如果使用嵌套循环，代码的可读性会大打折扣。这时， itertools.chain() 方法就能派上用场。它接受一个或多个可迭代对象作为参数，返回一个迭代器，能依次消费并返回每个可迭代对象产生的元素。

from itertools import chain
a = [1, 2, 3, 4]
b = ['x', 'y', 'z']
for x in chain(a, b):
    print(x)

与直接使用 a + b 进行迭代相比， chain() 更高效，尤其是在处理大型输入序列时，它对内存的处理更优，并且能轻松应用于不同类型的可迭代对象。

1.2 数据处理管道的构建

对于大量数据的处理，若数据无法一次性全部加载到内存中，生成器是实现数据处理管道的理想选择。例如，处理包含大量日志文件的目录时，可以创建一系列小的生成器函数，每个函数负责特定的任务。

import os
import fnmatch
import gzip
import bz2
import re

def gen_find(filepat, top):