Python中大文件的读取

前言

面试中可能会有面试官问这么一个问题：“当你的内存只有4G时，怎么去读取大于4G的文件？”

限制读取文件大小

通常的方法就是将这个大文件分成不同的部分来读取：

file.readlines([sizeint])
# 读取所有行并返回列表，若给定sizeint>0，返回总和大约为sizeint字节的行, 实际读取值可能比 sizeint 较大, 因为需要填充缓冲区。

def read_file(file_name):
    lines = []
    with open(file_name, 'rb') as file:
        content = file.readlines(1024 * 1024)
    lines.append(content)
    yield lines


if __name__ == '__main__':
    for line in read_file('test.txt'):
        print(line)

分割文件再做处理

也可以将大文件分割为小文件之后依次处理：
使用split命令将大文件分割成小文件