Python如何快速读取数据文件若干行

本文介绍使用Python高效读取大数据文件的三种方法:读取头部若干行、读取尾部若干行及读取任意位置若干行。适用于处理几百兆的数据文件,仅需特定行数据的场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

用Python进行数据分析的童鞋们,经常遇到的问题就是遇到一个数据文件,大概几百兆,而只需要其中若干行数据。那么我们怎么办?最笨的办法,就是一次性将所有的文件数据加载到内存中再做索引或切片处理,可能一次性加载就需要耗费一点时间。如果重复性地做这种事情,你都会觉得不好意思跟自己交代。

这里,我给大家介绍三种快速读取数据文件若干行的方法,分为三个情况:


1. 读取文件头部若干行
2. 读取文件尾部若干行
3. 读取文件任意位置若干行

当然,你可以直接记住“读取文件任意位置若干行”这个大招,不用管其它。。

读取文件头部若干行


fp = open('test.txt', 'r')
N_lines = 9 ## 设置需要读取的行数
while N_lines>0:
    print fp.readline(),
    N_lines -= 1
fp.close()

读取文件尾部若干行


fp = open('test.txt', 'r')
fp.seek(0, 2) # Again set the pointer to the end
file_size = fp.tell()
N_lines = 9 ## 设置需要读取的行数
## 1.读取合适大小的内容
k, buffer_size = 1, 1024*1024
while k*buffer_size<=file_size:
    fp.seek(-k*buffer_size, 2)
    lines = fp.read()
    N_k = 0
    for c in lines[::-1]:
       if c == '\n':
            N_k += 1
    if N_k<=N_lines:
       k += 1
    else:
       break
fp.seek(-k*buffer_size, 2)
lines = fp.read()
## 2.输出规定的行数
rindex = lines.rfind('\n')
while N_lines>0:
    rindex = lines.rfind('\n', 0, rindex)
    N_lines -= 1
print lines[rindex+1:]
fp.close()

读取文件任意位置若干行


import csv
import pandas as pd
def loadData(file_path, skip_n, rows_n):
    lines = sum(1 for _ in csv.reader(open(file_path)))
    # print lines
    data = pd.read_csv(file_path,
                      engine='c',
                      header=None,
                      skiprows=lines-skip_n,
                      nrows=rows_n,
    )
    return data
N_to_end = 9
N_lines = 9
data = loadData('test.txt', N_to_end, N_lines) # 从倒数第N_to_end行数开始读取N_lines行
print data
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晚风资源组

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值