python使用chunk进行大文件的读写

最新推荐文章于 2025-05-20 22:23:34 发布

WANG_DDD

最新推荐文章于 2025-05-20 22:23:34 发布

阅读量7.2k

点赞数 3

分类专栏： python 文章标签： python 读取大文件 chunk

本文链接：https://blog.youkuaiyun.com/qq_27802435/article/details/89083035

版权

python 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一种处理大型文本文件的有效方法，即利用pandas库的read_csv函数结合chunksize或iterator参数分批次读取文件，并通过to_csv函数逐步将处理结果写回文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有时候我们会拿到一些很大的文本文件，完整读入内存，读入的过程会很慢，甚至可能无法读入内存，或者可以读入内存，但是没法进行进一步的计算，这个时候如果我们不是要进行很复杂的运算，可以使用read_csv提供的chunksize或者iterator参数，来部分读入文件，处理完之后再通过to_csv的mode=’a’，将每部分结果逐步写入文件。

python代码如下：

reader = pd.read_csv('test.csv', iterator=True,low_memory=False)
loop = True
chunkSize = 100000
chunks = []
while loop:
    try:
        chunk = reader.get_chunk(chunkSize)
        chunks.append(chunk)
    except StopIteration:
        loop = False
        print("迭代停止。")
df = pd.concat(chunks, ignore_index=True)