mmap实现多进程对大文件拷贝

本文介绍了一种利用多进程并行拷贝大文件的方法。通过将文件映射到内存,并为每个子进程分配拷贝任务,有效提高了拷贝速度。特别关注了如何计算每个进程的拷贝范围以及处理剩余字节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

实现文件多进程拷贝。

假设有一个超大文件,需对其完成拷贝工作。为提高效率,可采用多进程并行拷贝的方法来实现。假设文件大小为len,共有n个进程对该文件进行拷贝。那每个进程拷贝的字节数应为len/n。但未必一定能整除,我们可以选择让最后一个进程负责剩余部分拷贝工作。可使用len % (len/n)将剩余部分大小求出。

为降低实现复杂度,可选用mmap来实现源、目标文件的映射,通过指针操作内存地址,设置每个进程拷贝的起始、结束位置。借助MAP_SHARED选项将内存中所做的修改反映到物理磁盘上。



思路:

//1. 指定创建子进程的个数
//2. 打开源文件
//3. 打开目的文件, 不存在则创建
//4. 获取文件大小                     
//5. 根据文件大小拓展目标文件                              
//6. 为源文件创建映射                                      
//7. 为目标文件创建映射                                               
//8. 求出每个子进程该拷贝的字节数
//9. 创建N个子进程
//10. 子进程完成分块拷贝(注意最后一个子进程拷贝起始位置)
//11. 释放映射区


代码如下:

#include<stdio.h>
#include<stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
#include <sys/mman.h>
#include<sys/wait.h>
#include<string.h>
#include <fcntl.h>


int main(int argc,char*argv[])
{
	int n;
	if(argc < 3 || argc > 4)
	{
		printf("Enter like this : ./a.out file_src file_dst [proc_number]\n");
		exit(1);
	}
	else if(argc == 3) //用户未指定,默认创建5个进程。
		n = 5;
	else
		n = atoi(argv[3]);
	
	//2.打开源文件
	int fd_src = open(argv[1],O_RDONLY);
	if(fd_src < 0)
	{
		perror("open");
		exit(2);
	}
	//3.打开目标文件,不存在就创建,存在则截断为0的大小。
	int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664);
	if(fd_dst < 0)
	{
		perror("open");
		exit(3);
	}
	//4.获取源文件大小。
	struct stat sbuf;
	int ret = fstat(fd_src,&sbuf);  //fd_src所指向的文件信息保存到结构体sbuf中。
	if(ret < 0)
	{
		perror("fstat");
		exit(4);
	}
	int flen = sbuf.st_size; //源文件大小。
	if(flen < n)  //文件长度小于进程个数。
	{
		n  = flen;
	}
	//5.根据文件大小拓展目标文件。
	ret = ftruncate(fd_dst,flen);//将参数fd指定的文件大小改为参数length指定的大小
	if(ret < 0)
	{
		perror("ftruncate");
		exit(5);
	}
	//6.为源文件创建映射。
// void *mmap(void *addr, size_t length, int prot, int flags,  int fd, off_t offset);
//addr == NULL,表示内核选择一个合适的地址创建一个length大小的共享内存,
	char *mp_src = (char*)mmap(NULL,flen,PROT_READ,MAP_SHARED,fd_src,0); //0,表示将fd_src所指向的文件从起始映射到共享内存中,共享内存的权限为只读,进程间共享。
	if(mp_src == MAP_FAILED) //mmap一定要检查返回值。
	{
		perror("mmap");
		exit(6);
	}
	close(fd_src);

	//7.为目标文件创建映射。
	char *mp_dst = (char*)mmap(NULL,flen,PROT_READ|PROT_WRITE,MAP_SHARED,fd_dst,0);
	if(mp_dst == MAP_FAILED) //mmap一定要检查返回值。
	{
		perror("mmap");
		exit(7);
	}
	close(fd_dst);

	//8.求出每个进程拷贝的字节数。
	int bs = flen / n;
	int mod = flen % bs;  //求出均分后余下的字节数,让最后一个子进程处理。

	char *temp_src = mp_src;
	char *temp_dst = mp_dst;

	//9.创建n个子进程。
	int i ;
	pid_t pid;
	for(i = 0; i < n; ++i)
	{
		printf("create %dth proc\n",i);
		if(  (pid =fork()) == 0 )
			break;
	}
	if(n == i) //父进程。
	{
		int j = 0;
		for(j = 0; j < n; ++j)
			wait(NULL);
	}
	else if(i == (n-1)) //10.子进程拷贝,最后一个子进程,它多处理均分后剩下的字节数。
	{
		printf("i = %d\n",i);
		memcpy(temp_dst+i*bs,temp_src+i*bs,bs+mod);
	}
	else if(i == 0)
	{
		printf("i = %d\n",i);
		memcpy(temp_dst,temp_src,bs);
	}
	else 
	{
		printf("i = %d\n",i);
		memcpy(temp_dst+i*bs,temp_src+i*bs,bs);
	}

	//11.释放映射区。
	
	munmap(mp_src,flen);
	munmap(mp_dst,flen);

	return 0;
}



<think>好的,我现在需要帮助用户理解mmap如何实现拷贝技术。首先,我得回忆一下零拷贝的基本概念,用户已经提供了几个引用,我需要结合这些资料来构建答案。 首先,零拷贝的核心是减少数据在用户空间和内核空间之间的拷贝次数,从而提升效率。mmap作为其中一种实现方式,我需要解释它的工作原理。记得mmap通过内存映射文件的方式,让用户空间和内核空间共享同一块内存区域,这样就不需要像传统方法那样先将数据从内核缓冲区拷贝到用户缓冲区,再进行操作。这点需要明确说明。 然后,应用场景方面,用户可能想知道什么时候用mmap比较合适。比如大文件传输或者频繁读写的场景,比如数据库、文件服务器这些,应该举几个例子。同时,也要提到它的局限性,比如内存占用和文件大小的限制,这样用户能全面了解。 接下来,对比传统IO和mmap的区别是关键。传统方法会有多次拷贝和上下文切换,而mmap减少了这些步骤。这部分用具体的步骤对比会更清晰,比如读文件时传统方法需要read系统调用导致用户态切换,然后数据拷贝到用户缓冲区,而mmap只需要一次映射,之后直接访问内存,减少了步骤。 还要注意用户提供的引用内容,比如引用4提到mmap减少内存拷贝和系统调用次数,这点要融入解释中。同时引用2提到零拷贝用于文件传输和网络通信,可能可以关联到mmap的应用场景。 最后,用户可能需要知道mmap的具体使用场景和潜在问题,比如不适合小文件或者需要频繁扩展文件的情况。这样用户在实际应用时能做出更合适的选择。 总结一下,我需要分步骤解释mmap的工作原理,对比传统方法,列举应用场景和注意事项,并确保引用相关的资料来支持每个要点。这样用户就能全面理解mmap在零拷贝中的作用了。</think>### mmap实现拷贝技术详解 #### 一、工作原理 1. **传统文件读写流程** 在常规文件操作中,数据需要从**磁盘→内核缓冲区→用户缓冲区**两次拷贝(通过`read`系统调用),再从**用户缓冲区→内核缓冲区→网络设备**两次拷贝(通过`write`系统调用),共4次拷贝和2次用户态/内核态切换[^2][^4]。 2. **mmap的优化机制** `mmap`通过内存映射技术,直接将**内核缓冲区映射到用户空间**,使得应用程序通过指针即可访问文件数据。具体流程: - 调用`mmap`建立用户空间与内核缓冲区的映射关系 - 应用程序直接读写映射内存区域 - 操作系统自动同步数据到磁盘(或网络设备) 这一过程**消除用户缓冲区与内核缓冲区之间的拷贝**,仅保留1次磁盘到内核缓冲区的拷贝,以及用户态直接访问映射内存的操作。 #### 二、技术优势 1. **性能提升** - 减少2次数据拷贝(用户↔内核) - 避免用户态/内核态频繁切换 - 适用于大文件连续访问场景 2. **内存效率** - 按需加载文件内容(分页机制) - 共享内存特性支持多进程访问同一文件 #### 三、应用场景 1. **大文件传输** 如视频流处理、日志分析等场景,通过映射避免大规模数据复制。 2. **数据库系统** MySQL等数据库使用mmap加速索引文件访问。 3. **进程间通信** 配合共享内存实现高效IPC。 4. **内存敏感型应用** 嵌入式系统中减少内存占用。 #### 四、实现示例(C语言) ```c #include <sys/mman.h> void* mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); // 参数说明: // - prot: 保护模式(PROT_READ/PROT_WRITE) // - flags: MAP_SHARED(修改同步到文件)/MAP_PRIVATE(写时复制) ``` #### 五、注意事项 1. **文件大小限制** 映射文件不宜超过可用虚拟内存空间。 2. **同步机制** 需配合`msync`确保数据持久化。 3. **内存管理** 大文件映射可能导致页错误(Page Fault)激增。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值