Python如何快速读取数据文件若干行

最新推荐文章于 2023-04-25 21:03:53 发布

原创最新推荐文章于 2023-04-25 21:03:53 发布 · 3.1k 阅读

8 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

9 篇文章

订阅专栏

本文介绍使用Python高效读取大数据文件的三种方法：读取头部若干行、读取尾部若干行及读取任意位置若干行。适用于处理几百兆的数据文件，仅需特定行数据的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用Python进行数据分析的童鞋们，经常遇到的问题就是遇到一个数据文件，大概几百兆，而只需要其中若干行数据。那么我们怎么办？最笨的办法，就是一次性将所有的文件数据加载到内存中再做索引或切片处理，可能一次性加载就需要耗费一点时间。如果重复性地做这种事情，你都会觉得不好意思跟自己交代。

这里，我给大家介绍三种快速读取数据文件若干行的方法，分为三个情况：


1. 读取文件头部若干行
2. 读取文件尾部若干行
3. 读取文件任意位置若干行

当然，你可以直接记住“读取文件任意位置若干行”这个大招，不用管其它。。

读取文件头部若干行


fp = open('test.txt', 'r')
N_lines = 9 ## 设置需要读取的行数
while N_lines>0:
    print fp.readline(),
    N_lines -= 1
fp.close()

读取文件尾部若干行


fp = open('test.txt', 'r')
fp.seek(0, 2) # Again set the pointer to the end
file_size = fp.tell()
N_lines = 9 ## 设置需要读取的行数
## 1.读取合适大小的内容
k, buffer_size = 1, 1024*1024
while k*buffer_size<=file_size:
    fp.seek(-k*buffer_size, 2)
    lines = fp.read()
    N_k = 0
    for c in lines[::-1]:
       if c == '\n':
            N_k += 1
    if N_k<=N_lines:
       k += 1
    else:
       break
fp.seek(-k*buffer_size, 2)
lines = fp.read()
## 2.输出规定的行数
rindex = lines.rfind('\n')
while N_lines>0:
    rindex = lines.rfind('\n', 0, rindex)
    N_lines -= 1
print lines[rindex+1:]
fp.close()

读取文件任意位置若干行


import csv
import pandas as pd
def loadData(file_path, skip_n, rows_n):
    lines = sum(1 for _ in csv.reader(open(file_path)))
    # print lines
    data = pd.read_csv(file_path,
                      engine='c',
                      header=None,
                      skiprows=lines-skip_n,
                      nrows=rows_n,
    )
    return data
N_to_end = 9
N_lines = 9
data = loadData('test.txt', N_to_end, N_lines) # 从倒数第N_to_end行数开始读取N_lines行
print data