Python将10G的文件拆分成多个小文件

最新推荐文章于 2025-03-18 13:52:21 发布
最新推荐文章于 2025-03-18 13:52:21 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Python课堂 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Leexin_love_Ling/article/details/127844674
版权
面对大型csv或txt数据文件，直接打开会非常困难。本文介绍了如何使用Python将大文件按均等大小拆分为多个小文件，分别展示了10G csv和txt文件的拆分方法，简化了处理大数据量文件的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

本文是该专栏的第1篇，后面会持续分享python的黑科技知识，值得关注。

工作上在处理数据文件的时候，难免会遇到那种几个G文件(csv或者txt文档)的数据，直接使用文件打开或者查看，会非常麻烦，比如说常见的excel或者csv能查看的行数，差不多也就在一百万行，几个G或者10G+的数据文件，肯定是上百万甚至上千万条，有的更甚至是达到亿级。

对于这种数据量过大的文件，哪怕是使用Visual Studio Code查看，也行不通。

这个时候，如果说有个需求，需要将内存非常大的数据文件拆分成多个小文件，要怎么做？

废话不多说，跟着我往下继续探讨。

正文

</
了解本专栏 订阅专栏 解锁全文
用python将txt文件拆分成多个小文件
gofreshman的博客
04-17 6645
txt文件本身为由逗号区分开的连续字符串，字符串均为链接，因此一般特征也比较明显，文件如下： 首先想到方法是用with open read函数获取文件信息，通过’,‘来拆分各个url，按照url域名来得到小文件名，从而完成文件拆分，但此时得到的小文件可读性很差，经过查询得知，可将此时各url较共同的后缀替换为原字符+’<br>’，并另存为htm文件，浏览器打开另存文件，即可得到每个u...
Python学习|将一个excel文件中的多个sheet拆分为多个excel文件
m0_53384824的博客
07-24 2466
data1=pd.read_excel(r'C\Users\HP\Desktop\附件1123家有信贷记录企业的相关数据.xlsx',sheet_name=1)data2=pd.read_excel(r'C\Users\HP\Desktop\附件1123家有信贷记录企业的相关数据.xlsx',sheet_name=2)data.to_csv(r'C\Users\HP\Desktop\企业信息.csv',encoding='utf-8')#该处sheet_name=1，即读取第二个sheet。...
python大文本文件拆分
06-27
输入文件路径，包括文件名。例如：'''D://test.txt''' 按行拆分，输入每个文件最大行数，拆分后的文件在相同路径下。
Python 大文件分割http://blog.youkuaiyun.com/gashero/category/173657.aspx
kbkiss_1的专栏
04-15 797
 # -*- coding: utf-8 -*-import os,sys,getoptsrcFilename=D:/kk/log.trace#try:inputf=open(srcFilename,r)File_i=0lines=0Head=TrueLinecount=5HeadStr=begin#if Head:#    HeadStr=inputf.readline()o
Python处理大文本文件分割成多个小文本文件
最新发布
xiaobangsky的专栏
03-18 209
将一个很大sql文件，分割成多个小的sql文件。
python读取txt文件_RPA手把手——Python如何读取大文件
weixin_39808893的博客
10-22 288
艺赛旗RPA 免费使用中，点击即可下载http://www.i-search.com.cn/index.html?from=line8​www.i-search.com.cn如何读取大文件？几乎所有人都知道，在 Python 里读取文件有一种“标准做法”：首先使用 withopen(fine_name) 上下文管理器的方式获得一个文件对象，然后使用 for 循环迭代它，逐行获取文件里的内容。下面是...
用Python实现大文件分割
11-22 542
用Python实现大文件分割 python代码如下： import sys,os kilobytes = 1024 megabytes = kilobytes*1000 chunksize = int(200*megabytes)#default chunksize def split(fromfile,todir,chunk...
python实现将文件夹内所有txt文件合并成一个文件
08-25 893
#coding=utf-8 import os import os.path #文件夹遍历函数 #获取目标文件夹的路径 filedir = '/home/gjh/txt_document/2' #获取当前文件夹中的文件名称列表 filenames=os.listdir(filedir) #打开当前目录下的result.txt文件，如果没有则创建 f=open...
python将一个大型csv分割成多个大小一样的小型csv（音频事件检测）
hong615771420的博客
12-25 6522
按行进行分割， 每128行产生一个新的csv文件。 import csv import os path = '../development (4).csv' workspace = '../workspace' with open(path, 'r', newline='') as file: csvreader = csv.reader(file) a = next(c...
只有一台普通电脑, 用python如何读取10G的超大文件?
python技巧分享
01-12 1477
学习或者工作当中经常会碰到处理大文件的时候, 如果你只有一台普通电脑该如何处理呢? 今天跟大家分享一个处理技巧, 就算现在没有碰到, 点右上角先收藏说不定以后会用到呢! 思路 硬件条件有限, 我们可以试试用pandas分块读取, 读取文件后一般有3种处理办法: 读取后拆分为多个小文件存放 读取后筛选部分信息合并为一个文件 对数据进行汇总(数据透视)后存储 (解释: 比如原始数据是一个按时间的明细, 可以读取后按年或者按月保存问题; 这种大文件有时候列比较多, 但不一定都是我们需要的, 我们可以只筛
Python实现文件分割功能
Aimmon
05-30 1699
效果图。
使用python进行拆分大文件的方法
09-19
今天小编就为大家分享一篇使用python进行拆分大文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python 将大文件切分为多个小文件的实例
12-23
切分文件 最近遇到需要切分文件的需求，当然首选用python来解决，网上搜了下感觉都太复杂了，其实用python自带函数即可解决。 f = open('path&filename','r') #打开文件 i = 0 #设置计数器 while i<12345 : #这里12345表示文件行数，如果不知道行数可用每行长度等其他条件来判断 with open('newfile'+str(i),'w') as f1: for j in range(0,100) : #这里设置每个子文件的大小 if i < 12345 : #这里判断是否已结束，否则最后可能报错 f1.writel
【python】文件内容拆分
初夏的专栏
12-20 3720
#!/usr/bin/python # -*- coding: UTF-8 -*- # 程序功能： # 从文件第一行，到查找到指定行的内容 输出到一个文件中 # 剩下的内容做为原文件import os,sys import os.path import stringdef convert(filename): try: #文件名(不包扩展名)
chatgpt赋能python：Python大文件切分：解决瓶颈问题
turensu的博客
06-05 591
在处理大文件时，程序常常会因为内存不足而崩溃，因此需要将大文件切分成多个较小的文件以减少内存的压力。大文件切分是指将一个大文件按照一定的规则切分成多个小文件，以提高程序的效率和速度。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。
python 切割大文件
xuyinxin的博客
06-08 2122
工作中遇到客户给的LOG太大，有时候超过2G，用Notepad++打开太占用内存，于是写了个小tool 将文件切割成200M一个. srcpath = "C:/Users/xiaoxin/Downloads/" srcFile = "big.log" dstFile = "out" def main(): count = 0 file_size = 200*1024*10...
Python基础——一个文件拆分为多个文件
JKenina的博客
06-14 1426
利用python将一个文件拆分为多个文件
python拆分大文件（大文件分割）
weixin_44283446的博客
03-11 6174
python拆分大文件前言实现过程 前言 在工作中常常会遇见一些大文件，由于内容太多，使用比如记事本、notePad++等软件也打不开，无法查看内容，最好是将整个文件进行拆分，分开处理。 实现过程 # -*- coding:utf-8 -*- def Main_split(): source = 'C:\\Users\\Desktop\\proc_create_20210228\\proc_create_20210228.json' # 此处一定要建上target文件夹，不然会报路径错误
python分割大文件
qq_37422923的博客
11-25 222
import sys,os kilobytes = 1024 megabytes = kilobytes*1000 chunksize = int(200*megabytes)#default chunksize def split(fromfile,todir,chunksize=chunksize): if not os.path.exists(todir):#check whe...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

写python的鑫哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值