python切割text大文件

最新推荐文章于 2024-05-10 14:31:12 发布

风子~

最新推荐文章于 2024-05-10 14:31:12 发布

阅读量692

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/qq_42020750/article/details/105200800

版权

当遇到2G以上的text文件无法直接处理时，可以通过Python按行切割。本文分享了一段将大文件拆分为30万行小文件的代码，整个过程仅需22秒，生成了89个小文件。同时提到了Python中'r'、'w'、'rb'、'wb'四种打开文件模式的区别，以及在读写编码问题上的解决建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

应用背景

某天收到了一份2G+的text文件，直接处理打不开，需要按指定行数切割文件进行处理。

根据情况拆分成多个30万行的小文件的代码如下：

# -*- coding: utf-8 -*-
"""
Created on Mon Mar 30 10:24:03 2020

@author: fengzi
"""
from datetime import datetime
 
def Main():
    source_dir = 'E:/服管部/满意度调研/满意度影响因子分析/3.18/BI提单数据/BI2020031700005分开/需求2_集团成员.txt'
    #写清楚存储路径，否则该路径默认为程序运行路径
    target_dir = 'E:/服管部/满意度调研/满意度影响因子分析/3.18/BI提单数据/BI2020031700005分开/切割AB类集团成员'
 
    # 计数器
    flag = 0
 
    # 文件名
    name = 1
 
    # 存放数据
    dataList =