python处理大文件的内存问题

背景介绍

同学们时常会遇到要处理大文件的情况，现在是大数据时代，有些文件动辄几十个G，我们在处理这样文件的时候一不小心就把内存撑爆了，或者程序被强制kill掉了。

原因分析

原因是你一次性把文件的所有内容都读取到内存里面了。python里面有方法可以一段一段的读文件。

解决方案

没错，就是用iterator，又叫迭代器，实例代码如下。

f = open('data', 'r')

for line in f:

    line = line.split(";;")

    lines.append(line)

    if len(lines) >= 10000:

        # consume the lines which have been read

        print lines

        del lines[:]

if lines:

    # consume the lines which have been read

    print lines

 

“for line in f”每次都只会读取一行数据到内存，我们可以设置一个buffer，比如每10000行用list暂存下，处理完了之后再继续读取文件。

这样就实现了一段一段的读取文件内容到内存。是不是很酷！

赶紧试试吧！