dpdk secondary 进程与 primary 进程同步失败问题分析

longyu_wlz

于 2024-03-27 08:00:00 发布

阅读量1.1k

点赞数 17

分类专栏： dpdk 文章标签： dpdk primary 进程 mp rte_malloc 大页内

本文链接：https://blog.youkuaiyun.com/Longyu_wlz/article/details/137052947

版权

94 篇文章

订阅专栏

本文探讨了在DPDK环境中，primary进程主动申请大页内存并同步给secondary进程时，两者行为的差异。主要关注内存同步失败导致的问题，以及primary和secondary进程各自的内存申请逻辑和处理方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试版本

dpdk-19.11

以 l2fwd 为 primary 进程，在 dpdk 初始化完成后增加如下调用：

sleep(20);
void *ptr = rte_malloc(NULL, 209715200, RTE_CACHE_LINE_SIZE);

primary 进程启动后延时 20s 后分配大量的内存，需要超过 100 个大页数目，secondary 进程设置 ulimit -n 为 100，在 20s 内运行。

EAL: Secondary process failed to synchronize
alloc ptr 0x400001e00000

primary 进程打印了 secondary 进程同步失败的错误，内存申请是成功的。从结果看，primary 进程

EAL: rte_mem_virt2phy(): cannot open /proc/self/pagemap: Too many open files

secondary 进程由于 ulimit 限制，内存同步失败，不能同步 primary 进程的大页内存。

以 dpdk-procinfo 为 secondary 进程，在 dpdk 初始化完成后增加如下调用：

sleep(20);
void *ptr = rte_malloc(NULL, 209715200, RTE_CACHE_LINE_SIZE);

printf("ptr is %p\n", ptr);

并增加 while 循环，持续 sleep 常驻。

dpdk-procinfo 进程报了 Too man open files 的错误，申请内存为空，ptr 指针的值为空。

rte_malloc 内部函数调用逻辑判断现有的大小能否满足，不满足则需要动态映射更多的大页扩充 heap
try_expand_heap 子函数调用负责映射大页并扩充 heap，判断到是 primary 进程，调用 try_expand_heap_primary 函数
try_expand_heap_primary 函数根据传入参数映射新的大页并更新内部数据结构，在映射完成后通过 unix 本地套接字发 mp_malloc_sync 消息给每个 secondary 进程同步内存并等待回复消息
当有 secondary 进程回复失败消息后，跳过失败，向上返回

当 primary 进程分配内存成功，secondary 进程同步失败时，内存分配仍旧成功。

rte_malloc 内部函数调用逻辑判断现有的大小能否满足，不满足则需要动态映射更多的大页扩充 heap
try_expand_heap 子函数调用负责映射大页并扩充 heap，判断到是 primary 进程，调用 try_expand_heap_secondary 函数
try_expand_heap_secondary 函数构造 mp_malloc_request 请求发送到 primary 进程中
primary 进程接收到 mp_malloc_request 消息后，调用回调函数完成所有的大页内存映射后，失败则构造 mp_malloc_response 回复失败的结果，成功则构造 mp_malloc_sync 请求发送到 secondary 进程同步内存信息
secondary 进程收到 mp_malloc_sync 消息后，更新大页，构造 mp_malloc_sync 消息与执行成功的状态发往 primary 进程
primary 进程收到 handle_sync_response 回复消息后，查看成功状态，存在失败则执行 rollback 动作，然后构造 mp_malloc_rollback 消息发到 secondary 进程
secondary 进程收到 mp_malloc_rollback 消息后，执行回调并回复一条 mp_malloc_rollback 消息，并附带执行的结果
primary 进程收到 mp_malloc_rollback 消息，构造 mp_malloc_response 消息发送给 secondary 进程标示内存申请结束

当 primary 进程分配内存成功，secondary 进程同步失败时，内存分配 rollback，分配失败。