共享内存+inotify机制实现多进程低延迟数据共享

最新推荐文章于 2024-12-01 14:03:57 发布

原创

最新推荐文章于 2024-12-01 14:03:57 发布 · 1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#开发语言

本文详细介绍了如何使用共享内存解决多进程间通信的低延迟问题，通过一个环形缓冲区实现生产者和消费者程序。生产者使用A/B缓冲区策略，并通过inotify触发消费者。消费者则通过mremap调整内存大小并监听inotify。测试结果显示，新消息能在100us内被消费者感知，效率高。文章还提到了消费者的监听机制可优化为事件驱动。

本文是对共享内存实现多进程低延迟队列 10us_Sweet_Oranges的博客-优快云博客的部分修正。

起因
之前的博客写过通过“inotify +file”的形式来实现多进程队列（跨进程共享）的文章。这种方式在通常情况下表现不错，但是这里存在一个问题就是“当消费者过慢，会产生大量的击穿内核高速缓冲区io，导致消费者卡在读取数据的瓶颈上，无法使用负载均衡等手段来提高处理能力。”

为了解决上述问题，引入了共享内存，众所周知，这是所有ipc中最快的通信方式，从根本上解决这个问题。下面通过实现一个producer 和 consumer 程序，来展示我的设计思路。

生产者
由于物理内存有限，生产者会使用一个环形缓冲区来保证热点数据始终在内存中（类似A/B缓存这个长度为2的最小环形队列一样）。

同时为了保证消费者的接入配置最小化，生产者将配置通过一个固定大小的结构体映射到内存中（类似我们的A/B缓冲区，前面加了一个header，header中放元信息，而A/B缓冲区放树）。消费者首先映射结构体读取配置信息，从结构体中的得知缓冲区大小后执行mremap进行重新调整大小，这样消费者只需要知道共享内存的地址（一个文件名），就可以实现消费（我们的A/B缓冲区不存在重新调整大小的情况，因为已经将数据源单帧数据大小写到配置文件中了）。同时采用了消息计数，来标识消费者是否已经处理所有消息，触发等待。当新数据到达后，唤醒消费者。我们选择了通过向指定文件写入一个字节的内容触发inotify，虽然通过信号量也可以实现，但是使用信号量会导致生产者要多开一个线程实现管理，引入额外的复杂度。

#include <sys/stat.h>
#include <fcntl.h>
#include <sys/inotify.h>
#include <functional>
#include <unistd.h>
#include <cstring>
#include <string>
#include <sys/mman.h>
#include <sys/time.h>
#include <iostream>
#include <semaphore.h>

#include <gflags/gflags.h>

DEFINE_int64(shm_size, 6, "shm_size m");//gflag中的内容
DEFINE_string(inotify_file, "/tmp/writer.txt", "inotify file path");
DEFINE_string(shm_file, "test", "shm file path");
DEFINE_string(shm_key, "", "shm key");

using namespace std;

class Producer
{
public:
    Producer(const std::string &inotify_path, const std::string &shm_path) : inotify_path_(inotify_path), shm_path_(shm_path)
    {
        shm_size_ = FLAGS_shm_size * 1024 * 1024; // 1g; // 1g
    }

    bool Init(const std::string &key)
    {
        fd_ = open(inotify_path_.c_str(), O_WRONLY | O_APPEND | O_CREAT | O_TRUNC, 0644);
        if (fd_ < 0)
        {
            printf("1. open inotify path failed\n");
            return false;
        }
        else
        {
            printf("1. open inotify path successed\n");
        }
        // 打开共享内存
        shm_fd_ = shm_open(shm_path_.c_str(), O_CREAT | O_RDWR | O_TRUNC, 0777);
        if (shm_fd_ < 0)
        {
            printf("2. shm_open  failed\n