python实际应用5-从大文件中读取指定大小或记录数_python 读取文件名按数字大小读取文件-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_44230447/article/details/86518335

本文介绍了在处理大文件时，如何使用Python按指定大小或记录数进行读取。作者分享了在测试服务器与分公司之间网速时遇到的问题，以及解决方法。文中提供了两个程序示例，一个是按记录数读取，另一个是按文件大小读取，解决了readlines等方法在处理大文件时的局限性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@2019年1月17日

背景

由于工作性质，经常面对不同的问题，某些场景下SQL+Excel、常用办公软件不能处理，这时到网上找一些案例，自己动手用python处理。后续，借此博客记录比较典型的处理过程。
后续，陆续实际处理的问题，如
合并PDF(https://blog.youkuaiyun.com/weixin_44230447/article/details/85231757)
拆分PDF(https://blog.youkuaiyun.com/weixin_44230447/article/details/85232235)
敏感字段MD5脱(https://blog.youkuaiyun.com/weixin_44230447/article/details/85233266)
从非架构化的大文本文件中提取指定条件的记录（https://blog.youkuaiyun.com/weixin_44230447/article/details/85233565）
从大文件中读取指定大小或记录数
需求
为什么要从“从大文件中读取指定大小或记录数”，最近年底要测试一个服务器与各分公司之间的网速，需要一系列测试基准文件，如100MB、1GB、5GB等固定大小的文件，如100条和1000万条的记录。手里正好有一个6GB大小2000余万的数据。在“从非架构化的大文本文件中提取指定条件的记录”中的程序基础上，修改运行后，发现readlines 方法无法一口读下上GB的文件，readline、read()也不好用，具体问题见上一篇博客，最后用如下方法解决。
Python 程序
程序1：从大文件中读取指定数量记录后写入一个文件。
其中，第9~10行是关键，一行行读入。

#导入原始文件，抽取部分记录
#load data from file
#从txt文件导入数据，
def load_data(in_filename,out_filename,skip,out_extract_rows):
    out_file= open(out_filename,'a')
    i=0
    j=0
    k=0
    with open(in_filename, 'r') as in_file: