利用mmap实现文件拷贝

（写于November 14th, 2013）

   今天根据老师的介绍试着使用mmap函数来实现拷贝文件，确实速度比read和write实现的要快很多。

首先介绍一下mmap函数：

   mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。

该函数主要用途有三个：

   1、将一个普通文件映射到内存中，通常在需要对文件进行频繁读写时使用，这样用内存读写取代I/O读写，以获得较高的性能；

   2、将特殊文件进行匿名内存映射，可以为关联进程提供共享内存空间；

   3、为无关联的进程提供共享内存空间，一般也是将一个普通文件映射到内存中。

 

（注：以下函数详细解释主要来自百度百科）

函数：

#include <sys/mman.h>
        
void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offsize);
        
int munmap(void *start, size_t length);   // 解除内存映射

（munmap()用来取消参数start所指的映射内存起始地址，参数length则是欲取消的内存大小。当进程结束或利用exec相关函数来执行其他程序时，映射内存会自动解除，但关闭对应的文件描述词时不会解除映射。）

 

条件：

   mmap()必须以PAGE_SIZE()为单位进行映射，而内存也只能以页为单位进行映射，若要映射非PAGE_SIZE整数倍的地址范围，要先进行内存对齐，强行以PAGE_SIZE的倍数大小进行映射。

 

参数：

start：映射区的开始地址，设置为0时表示由系统决定映射区的起始地址。

length：映射区的长度。//长度单位是 以内存页为单位

prot：期望的内存保护标志，不能与文件的打开模式冲突。是以下的某个值，可以通过or运算合理地组合在一起

   PROT_EXEC //页内容可以被执行

   PROT_READ //页内容可以被读取

   PROT_WRITE //页可以被写入

   PROT_NONE //页不可访问

flags：指定映射对象的类型，映射选项和映射页是否可以共享。它的值可以是一个或者多个以下位的组合体

   MAP_FIXED //使用指定的映射起始地址，如果由start和len参数指定的内存区重叠于现存的映射空间，重叠部分将会被丢弃。如果指定的起始地址不可用，操作将会失败。并且起始地址必须落在页的边界上。

   MAP_SHARED //与其它所有映射这个对象的进程共享映射空间。对共享区的写入，相当于输出到文件。直到msync()或者munmap()被调用，文件实际上不会被更新。

   MAP_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的，只能使用其中一个。

   MAP_DENYWRITE //这个标志被忽略。

   MAP_EXECUTABLE //同上

   MAP_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留，对映射区修改的可能会得到保证。当交换空间不被保留，同时内存不足，对映射区的修改会引起段违例信号。

   MAP_LOCKED //锁定映射区的页面，从而防止页面被交换出内存。

   MAP_GROWSDOWN //用于堆栈，告诉内核VM系统，映射区可以向下扩展。

   MAP_ANONYMOUS //匿名映射，映射区不与任何文件关联。

   MAP_ANON //MAP_ANONYMOUS的别称，不再被使用。

   MAP_FILE //兼容标志，被忽略。

   MAP_32BIT //将映射区放在进程地址空间的低2GB，MAP_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。

   MAP_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。

   MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义。不执行预读，只为已存在于内存中的页面建立页表入口。

fd：有效的文件描述词。一般是由open()函数返回，其值也可以设置为-1，此时需要指定flags参数中的MAP_ANON,表明进行的是匿名映射。

offset：被映射对象内容的起点。

 

返回值：

   成功执行时，mmap()返回被映射区的指针，munmap()返回0。失败时，mmap()返回MAP_FAILED[其值为(void *)-1]，munmap返回-1。

 

错误代码：

errno被设为以下的某个值:

   EACCES：访问出错

   EAGAIN：文件已被锁定，或者太多的内存已被锁定

   EBADF：fd不是有效的文件描述词

   EINVAL：一个或者多个参数无效

   ENFILE：已达到系统对打开文件的限制

   ENODEV：指定文件所在的文件系统不支持内存映射

   ENOMEM：内存不足，或者进程已超出最大内存映射数量

   EPERM：权能不足，操作不允许

   ETXTBSY：已写的方式打开文件，同时指定MAP_DENYWRITE标志

   SIGSEGV：试着向只读区写入

   SIGBUS：试着访问不属于进程的内存区

 

系统调用mmap()用于共享内存的两种方式：

1.使用普通文件提供的内存映射：

   适用于任何进程之间。此时，需要打开或创建一个文件，然后再调用mmap()

典型调用代码如下：

if ((d = open(name, flag, mode) < 0) ...
         
ptr = mmap(NULL, len , PROT_READ | PROT_WRITE, MAP_SHARED , fd , 0);

2.使用特殊文件提供匿名内存映射：

   适用于具有亲缘关系的进程之间。由于父子进程特殊的亲缘关系，在父进程中先调用mmap()，然后调用 fork()。那么在调用fork()之后，子进程继承父进程匿名映射后的地址空间，同样也继承mmap()返回的地址，这样，父子进程就可以通过映射区 域进行通信了。注意，这里不是一般的继承关系。一般来说，子进程单独维护从父进程继承下来的一些变量。而mmap()返回的地址，却由父子进程共同维护。 对于具有亲缘关系的进程实现共享内存最好的方式应该是采用匿名内存映射的方式。此时，不必指定具体的文件，只要设置相应的标志即可。

 

以下是我所实现的文件拷贝代码：

#include <unistd.h>
#include <assert.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <stdio.h>
#include <stdlib.h>
                       
void mmapcopy(int src_fd, size_t src_len, int dst_fd);
                       
int main(int argc, char *argv[])
{
    if (argc != 3) {
        printf("Usage: %s<src_file><dst_file>\n", argv[0]);
        return -1;
    }
    int src_fd ;
    int dst_fd;
    if ((src_fd = open(argv[1], O_RDONLY)) < 0){
        printf("file1 open failed！\n");
        return -1;
    }
    if ((dst_fd = open(argv[2], O_RDWR | O_CREAT | O_TRUNC, S_IRWXU)) < 0) {
        printf("file2 open failed! \n");
        return -1;
    }
                       
    struct stat stat;
    fstat(src_fd, &stat);               // 获取文件信息
    truncate(argv[2], stat.st_size);    // 设置文件大小
    mmapcopy(src_fd, stat.st_size, dst_fd);
                           
    close(src_fd);
    close(dst_fd);
                       
    return 0;
}
                       
void mmapcopy(int src_fd, size_t src_len, int dst_fd)
{
    void *src_ptr, *dst_ptr;
    src_ptr = mmap(NULL, src_len, PROT_READ, MAP_PRIVATE, src_fd, 0);
    dst_ptr = mmap(NULL, src_len, PROT_WRITE | PROT_READ, MAP_SHARED, dst_fd, 0);
    if (dst_ptr == MAP_FAILED) {
        printf("mmap error: %s\n", strerror(errno));
        return ;
    }
    memcpy(dst_ptr, src_ptr, src_len);  // 实现拷贝
                       
    munmap(src_ptr, src_len);
    munmap(dst_ptr, src_len);
}

其中memcpy函数：

void *memcpy(void *dest, const void *src, size_t n);

从源src所指的内存地址的起始位置开始拷贝n个字节到目标dest所指的内存地址的起始位置中。

 

使用mmap实现的拷贝速度如下：（158MB的文件）

time ./a.out 1.deb 2.deb
                  
real0m2.124s
                  
user0m0.000s
                  
sys0m0.372s

使用普通的read write函数实现拷贝速度如下：（158MB的文件）

time ./a.out 1.deb 2.deb
                
real0m3.582s
                
user0m0.004s
                
sys0m0.352s

可以看到使用mmap的性能明显高于使用read write的方式（明显快了1s），这里主要原因是使用mmap减少了用户态和内核态间数据的拷贝。