有些工程,本身是利用C++编写的,但是目前主流的深度学习框架都是基于Python,当有大量数据传输的时候,当我们想利用C++给Python传输大数据的时候,内存映射(mmap)就是一个不错的选择。注意的是这里只是传输数据,内存映射并没有一个同步机制,如果要发送任务的话,还是会需要类似命名管道/socket的东西来做同步。本篇博客只介绍内存映射(mmap)。
首先,在Windows下建立内存映射会比Linux系统稍微麻烦一点,CreateFileMapping函数会有很多参数,安全性等,这里不一一展开了,按照下面的例子写上就好。内存映射也会有映射到文件上的方式,这里只映射到内存。在用完内存映射之后,记得清除释放内存。
#define MMAP_SIZE 67108864 // 64MB
LPCWSTR mmapName = L"sharemem";
HANDLE hMapFileVTX = CreateFileMapping(INVALID_HANDLE_VALUE,NULL, PAGE_READWRITE, 0, MMAP_SIZE, mmapName);
LPVOID lpBase = MapViewOfFile(hMapFile