【split 拷贝大文件分段拷贝】

最新推荐文章于 2025-06-16 16:57:16 发布
最新推荐文章于 2025-06-16 16:57:16 发布
阅读量107 收藏
点赞数
分类专栏： android码农常用工具和framework层bug解决 方便自己也方便他人之笔记一 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wuxiangfeng083041/article/details/137065298
版权
在Rockchip平台的Android 7.1.2系统上，由于4GB文件上传限制，通常需要借助Linux的split命令对大文件进行切割以便上传。本文介绍如何使用split命令有效地分段拷贝大文件，并强调内容源于实战经验。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

split 拷贝大文件分段拷贝


郑重声明:本人原创博文，都是实战，均经过实际项目验证出货的
转载请标明出处:攻城狮2015

Platform: Rockchip
OS:Android 7.1.2
Kernel: 3.10

问题描述

平常会遇到把大文件上传到网盘，但是超过4g就会提示，普通用户，超出最大上传限度。开发人员的文件，有时都几十G

解决方法

这个时候，就需要用到linux下的一个命令split，进行对文件压缩包切割

打包：tar zcvf YunOS_MPBranch.tar.gz YunOS_MPBranch

拆分：split -b 4000m YunOS_MPBranch.tar.gz YunOS_MPBranch.tar.gz.    --verbose
了解本专栏 订阅专栏 解锁全文 超级会员免费看
python 开发 1 之 拷贝文件
05-08 2019
这里注意： 路径名import osFILES = [('StartExe/StartExe/Release/StartExe.exe', '校内外.exe'),('bin/校内外动态数学实验.exe', '校内外动态数学实验.exe'),#CEF# xnwlive#dll虽然上面写了很多，但实际按上述规则创建的函数却很简洁，可以参考下面函数if file!='':# 建目录continueif not a_src[1]: # 目录continue# 拷贝目录。
python读取大文件，分片保存
Saber190919的专栏
04-18 1390
# -*- coding: utf-8 -*- import hashlib import time import sys filename = sys.argv[1] partsize = int(sys.argv[2]) prefix = sys.argv[3] print("split file...") partn = 0 # 读取文件 data = "" with open(filename, 'r') as f: for line in f: data = data
linux文本分段,Linux下 分割日志大文件
weixin_42613773的博客
05-14 467
Linux下分割日志有两种常用命令ddsplit(推荐使用)1.dd:作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。参数注释：if=filename：输入的文件名of=finename：输出的文件名bs=bytes：一次读写的字节数，默认是512bytesskip=blocks:拷贝前，跳过的输入文件的前blocks块，块的大小有bs决定count=blocks：只拷贝输入文件的...
android 拷贝文件到缓存目录,AndroidBiliBiliFilePathFormat: Android 的 BiliBili 和 Windows10 缓存的番，在备份的时候需要把缓存的目录拷...
weixin_36318586的博客
05-30 279
前言上周刚学习了Python，我就在想能不能实现这个操作，而且还能巩固一下所学的知识，写这个程序的时候遇到了很多的问题，尤其是数组越界看得我头大，不过后来还是都解决了，写完这个程序我对列表和切片以及文件的操作掌握的更加深刻以及各种报错和异常信息，这其中还有一段代码是一维列表转换二维列表且每4个为一个列表，写了一晚上都没实现，最后求教大佬，大佬说这是一个矩阵算法，当我看到大佬用一行代码实现了我几十行...
Netty学习之路一（大文件传输案例分析）
热门推荐
zhangsuhua0702的博客
05-19 1万+
业务场景： 由于工作需要，需要在两台服务器的java服务之间通过netty建立链接，将大文件（几百G到TB级别）从机器A上的serverA发送到机器B上的serverB。 实现方法设计： 系统现有的实现方法：将业务方存储在服务器上的文件，在传输之前，对文件进行分片，以定义的规则将文件分为大小20MB的分片存储在服务器中。同步时以异步的方式同步分片，当然A服务器上的文件同步到B服务器时也是以分片的...
Netty实现分段下载文件服务器并集成现有单点登录(CAS)
大脸猫的博客
11-07 1153
在工作中有分段下载大文件的需求，年初刚学的Netty，业务接口也已经实现完了，Dubbo源码看的头冷，趁着热情使用Netty手撸一个集成了Cas的分段下载服务器。 实现该服务（下文统一称为netty-file）可能会遇到的问题： 1.session与session管理设计 2.怎么样集成现有Cas系统，实现单点登录和单点登出 3.单独部署一套服务还是在原有文件系统实现 对于3.为了偷懒...
大文件IO流方式多线程分块、合并
qq_41617848的博客
08-06 629
网上看了一圈都是使用的零拷贝的方式进行分块，没有找到使用io流方式进行分块的，又因为公司某存储不支持零拷贝的使用，在此记录一下。
大文件上传
web$-小白
01-16 1505
分片上传解决的问题上传时间比较久中间一旦出错就需要重新上传一般服务端会对文件的大小进行限制秒传原理分片上传的原理就像是把一个大的视频文件切成多个小视频片段。每个小块大小相同，比如每块大小为2MB（最好不要大于5MB）。然后，逐个上传这些小块到服务器。上传的时候，可以同时上传多个小块，也可以一个一个地上传。上传每个小块后，服务器会保存这些小块，并记录它们的顺序和位置信息。所有小块上传完成后，服务器会把这些小块按照正确的顺序拼接起来，还原成完整的大文件。
Java 大文件分片上传
我就是我不一样的美男子！
06-05 8296
原理：前端通过js读取文件，并将大文件按照指定大小拆分成多个分片，并且计算每个分片的MD5值。前端将每个分片分别上传到后端，后端在接收到文件之后验证当前分片的MD5值是否与上传的MD5一致，待所有分片上传完成之后后端将多个分片合并成一个大文件，并校验该文件的MD5值是否与上传时传入的MD5值一致；支持文件分片上传，查询当前已经上传的分片信息，取消文件上传 上传文件分片参数接收 如果按照分片方式上传文件需要指定当前大文件的MD5、分片MD5、分片内容、分片大小、当前文件名称、文件总大小等信息；另外对于每个文件
Linux中超过4G文件下载至windows
qq_38061812的博客
04-25 1127
Linux中超过4G文件下载至windows 文章目录Linux中超过4G文件下载至windows系统环境、用到的命令、软件包一、操作步骤二、使用VMware验证1.iso镜像文件是否可以正常使用注：解决Linux下载至Windows最高效的方式为“在windows中安装一个stpt工具，即可 系统环境、用到的命令、软件包 1.centos7 ——系统 2.sz——命令 3.copy /B ——Windows cmd命令 一、操作步骤 1.将大文件（超过4G）压缩成2G的文件命令：cat CentOS-
C# 使用 itextsharp 对pdf文件进行分割的几种方法（1）——按页码拷贝分割
zhuanting的专栏
03-18 2119
Set up references and Using Statements to use iTextSharp 首先是需要引用的命名空间： using iTextSharp.text; using iTextSharp.text.pdf; using System; namespace iTextTools { public class PdfExtractorUtilit
linux msyql8 允许远程连接
小妖666个人笔记
06-14 239
linux msyql8 允许远程连接
文件系统2（Linux下）
最新发布
2401_83456040的博客
06-16 108
Linux文件系统中，inode不能跨分区，分区需挂载到目录才能使用。通过路径前缀可定位文件所在分区。硬链接（ln命令）是多个文件名映射同一inode，通过引用计数管理删除；目录因存在.和..默认引用计数为2，且禁止硬链接以避免环路。软链接（ln -s）则是独立文件，存储目标文件路径，用于快捷方式。软硬链接区别在于：硬链接共享inode，软链接为独立文件。
Linux爬虫系统从开始到部署成功全流程
weixin_44617651的博客
06-13 565
做过爬虫的都知道，很多公司都会有自己的专属技术人员以及服务器，通常情况下再部署爬虫前，首先要将准备好的inux服务器进行环境部署，并且要安装必要的爬虫技术栈，一切环境部署差不多了再去部署爬虫代码。下面就是我整理的一个真实案例，可以一起看看我从准到部署完成的具体流程。
2025网络建设与运维技能大赛Linux部分CA服务器部署
网络安全、网络建设与运维竞赛资料培训请联系主页
06-13 639
CA（Certificate Authority，证书颁发机构）是负责签发和管理数字证书的机构。提供加密通信避免浏览器访问 HTTPS 出现“不受信任证书”警告实现内部服务的身份认证步骤内容安装 OpenSSL提供证书生成工具初始化 CA建立 CA 数据目录签发根证书CA 的身份凭证生成 CSR 请求模拟一个服务的证书申请签发用户证书有效期5年，支持通配符域名分发与信任将证书复制并追加到系统信任链中。
从0开始学linux韦东山教程第四章问题小结（3）
weixin_52531699的博客
06-13 976
本文记录了学习Linux输入设备开发过程中遇到的问题及解决方案。重点关注文本特性设置和VS Code调试技巧，通过分析/dev/input/event设备的读取程序，详细解析了输入设备信息获取的实现原理。程序使用ioctl系统调用获取设备标识和支持的事件类型，通过位操作解析事件位图。文章提供了完整的代码分析，包括头文件作用、数据结构说明和逐行逻辑解析，特别对EVIOCGID和EVIOCGBIT等关键操作进行了重点说明，为嵌入式Linux输入设备开发提供了实用参考。
linux-部署go开发环境
2501_92004703的博客
06-14 589
上述步骤完成了 Linux 系统中 go 开发环境的部署，包括创建目录、下载安装包、解压文件、配置环境变量等核心操作。最终通过go version命令验证了 go 1.24.3 版本的成功安装，确保go命令可在任意目录下执行。
C语言：Linux libc和glibc的历史
前进，才知道自己的渺小
06-15 414
libc用通常被用来指代标准C库的简称，即满足C语言标准的库，可供其他程序使用。但由于一些历史原因，它的概念出现了一些模糊，本文旨在帮助读者厘清这些概念。
【Linux】Linux磁盘与链接
Antonio915的博客
06-13 700
磁盘存储与管理是计算机系统的重要组成部分。本文介绍了磁盘的基本结构、分区与格式化原理，以及Linux系统中的文件管理机制。 磁盘由多个同心圆磁道组成，数据以扇区为单位存储。为便于管理，磁盘被分区并格式化为Block Group结构，包含超级块、块组描述符、inode位图和数据区等组件。每个文件通过唯一的inode编号标识，存储属性和数据块位置信息。 软硬链接是Linux文件系统的特色功能。软链接类似快捷方式，存储目标文件路径，可以跨文件系统；硬链接则共享inode节点，删除源文件后数据仍可访问。通过stat
c++实现大文件分段读写
03-24
在C++中实现大文件的分段读写可以通过以下骤进行： 1. 打开文件：使用C++的文件流对象，如`std::ifstream`和`std::ofstream`，打开需要读取或写入的文件。 2. 确定文件大小：可以使用文件流对象的`seekg`和`tellg`函数来确定文件的大小。`seekg`函数用于将文件指针移动到指定位置，`tellg`函数用于获取当前文件指针的位置。 3. 分段读取：根据需要设置每次读取的分段大小，可以使用`read`函数从文件中读取指定大小的数据块。读取的数据可以存储在缓冲区中供后续处理。 4. 分段写入：根据需要设置每次写入的分段大小，可以使用`write`函数将数据块写入文件中。写入的数据可以从缓冲区中获取。 5. 关闭文件：在读取或写入完成后，使用文件流对象的`close`函数关闭文件。 下面是一个示例代码，演示了如何实现大文件的分段读写： ```cpp #include <iostream> #include <fstream> void splitFile(const std::string& inputFile, const std::string& outputFile, int segmentSize) { std::ifstream inFile(inputFile, std::ios::binary); std::ofstream outFile(outputFile, std::ios::binary); if (!inFile || !outFile) { std::cout << "Failed to open file!" << std::endl; return; } // 获取文件大小 inFile.seekg(0, std::ios::end); std::streampos fileSize = inFile.tellg(); inFile.seekg(0, std::ios::beg); // 分段读取和写入 char* buffer = new char[segmentSize]; std::streampos bytesRead = 0; while (bytesRead < fileSize) { int bytesToRead = (fileSize - bytesRead < segmentSize) ? (fileSize - bytesRead) : segmentSize; inFile.read(buffer, bytesToRead); outFile.write(buffer, bytesToRead); bytesRead += bytesToRead; } delete[] buffer; inFile.close(); outFile.close(); std::cout << "File split successfully!" << std::endl; } int main() { std::string inputFile = "input.txt"; std::string outputFile = "output.txt"; int segmentSize = 1024; // 每次读取或写入的分段大小 splitFile(inputFile, outputFile, segmentSize); return 0; } ``` 请注意，以上示例代码仅演示了如何实现大文件的分段读写，并未处理异常情况和错误检查。在实际应用中，需要根据具体需求进行适当的错误处理和异常处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

攻城狮2015

你得打赏，是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值