python取文件后几行_使用Python获取文件的最后n行,类似于tai

本文介绍了一种高效的文件尾部读取算法,该算法不对行长度做任何假设,通过逆向读取文件块的方式快速定位到指定行数,特别适用于日志文件等场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这可能比你的快。对线的长度没有任何假设。一次返回一个块,直到找到正确数量的'\n'字符。def tail( f, lines=20 ):

total_lines_wanted = lines

BLOCK_SIZE = 1024

f.seek(0, 2)

block_end_byte = f.tell()

lines_to_go = total_lines_wanted

block_number = -1

blocks = [] # blocks of size BLOCK_SIZE, in reverse order starting

# from the end of the file

while lines_to_go > 0 and block_end_byte > 0:

if (block_end_byte - BLOCK_SIZE > 0):

# read the last block we haven't yet read

f.seek(block_number*BLOCK_SIZE, 2)

blocks.append(f.read(BLOCK_SIZE))

else:

# file too small, start from begining

f.seek(0,0)

# only read what was not read

blocks.append(f.read(block_end_byte))

lines_found = blocks[-1].count('\n')

lines_to_go -= lines_found

block_end_byte -= BLOCK_SIZE

block_number -= 1

all_read_text = ''.join(reversed(blocks))

return '\n'.join(all_read_text.splitlines()[-total_lines_wanted:])

我不喜欢在实际情况下,当你永远不可能知道这样的事情的时候,对线的长度做一些复杂的假设。

通常,这将在第一次或第二次通过循环时定位最后20行。如果你的74个字符的东西是准确的,你使块大小2048,你将尾随20行几乎立即。

而且,我也不会消耗大量的大脑卡路里来巧妙地调整物理操作系统块。使用这些高级I/O包,我怀疑您会看到试图在OS块边界上对齐的任何性能结果。如果使用较低级别的I/O,则可能会看到加速。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值