readline&readlines

最新推荐文章于 2024-03-10 17:03:15 发布

原创最新推荐文章于 2024-03-10 17:03:15 发布 · 577 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #readline #readlines #大文件

Python 专栏收录该内容

16 篇文章

订阅专栏

本文探讨了如何高效地从大型文本文件中读取特定行数的方法。通过对比使用readlines()与readline()的不同实现方式，展示了如何显著提高文件读取速度。

需求

txt文件很大，难以打开，需要读取n行看看数据格式。

开始

with open(f1_name, 'r') as f1:
    contents1 = f1.readlines()[0:n_line]
    with open(f2_name, 'w') as f2:
        for line in contents1:
            f2.write(line)

发现读个10行需要6s（1G文件为例，200G的话就慢死了）

后来

with open(f1_name, 'r') as f1:
    while n_line > 0:
        n_line = n_line - 1;
        contents.append(f1.readline())

    with open(f2_name, 'w') as f2:
        for line in contents:
            f2.write(line)