网络库 muduo-core | 系统框架-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_52152177/article/details/148679179

网络库 Muduo-core 系统框架

一、Reactor模型

1. 核心组件

Event（事件）: 网络I/O事件，如连接建立、数据可读/可写等
Reactor（反应堆）: 事件循环的核心，负责监听和分发事件
Demultiplex（多路复用器）: 通常是epoll，用于同时监听多个文件描述符
EventHandler（事件处理器）: 具体的业务逻辑处理函数

2. 工作流程

初始化阶段：

Event通过某种处理方法注册到Reactor中
Reactor将连接套接字的connfd & 感兴趣的事件类型注册到多路复用器（epoll）中，启动反应堆，进入事件等待循环

等待事件：

当事件发生时：

loop [事件分发] {
    开启事件循环epoll_wait // 等待I/O事件
}

Demultiplex检测到connfd上有事件发生，（向Reactor）返回相应事件
Reactor根据事件调用对应的EventHandler处理程序

3. 技术细节

这个设计采用了非阻塞I/O + I/O多路复用的模式：

单线程事件循环: 所有I/O事件在一个线程中处理，避免了线程同步问题
事件驱动: 程序的执行流程完全由事件驱动，而不是传统的顺序执行
高效的I/O复用: 通过epoll可以同时监听成千上万个连接

这种设计特别适合高并发网络服务，因为它避免了传统多线程模型中的上下文切换开销和锁竞争问题。

二、muduo的Reactor架构层次

1. 线程模型：One Loop Per Thread

Thread ←→ EventLoop (subreactor)

每个线程运行一个EventLoop
EventLoop就是一个subreactor，实现了"one loop per thread"的设计理念
主线程通常运行主reactor，工作线程运行sub-reactor

2. EventLoop的核心组件

EventLoop 是整个reactor的核心，包含：

Poller: 多路复用器的封装（demultiplex）
Channel: 事件，封装了文件描述符和其感兴趣的事件
active_channels: 活跃的Channel列表
wakeup_fd: 用于唤醒事件循环的文件描述符

3. 数据流分析

事件注册流程：

Socket fd → Channel → EventLoop → Poller → 系统调用(epoll_ctl)

事件处理流程：

系统事件 → Poller::poll() → active_channels → Channel::handleEvent()

4. 关键设计细节

Channel设计：

class Channel {
    int fd_;                    // 文件描述符
    int events_;               // 关心的事件
    int revents_;              // 实际发生的事件
    EventCallback readCallback_;
    EventCallback writeCallback_;
    // ...
};

EventLoop的事件循环：

void EventLoop::loop() {
    while (!quit_) {
        activeChannels_.clear();
        pollReturnTime_ = poller_->poll(kPollTimeMs, &activeChannels_);
        
        for (Channel* channel : activeChannels_) {
            channel->handleEvent(pollReturnTime_);
        }
        
        doPendingFunctors(); // 处理其他线程添加的任务
    }
}

5. 技术优势

(1). 线程安全性

Thread Affinity: 每个EventLoop只在其所属线程中运行
无锁设计: 避免了多线程竞争，提高了性能
跨线程通信: 通过wakeup_fd实现线程间的安全通信

(2). 可扩展性

多Reactor模式: 主reactor负责accept，sub-reactor负责I/O
负载均衡: 连接可以分发到不同的EventLoop中处理

(3). 性能优化

零拷贝: 通过合理的缓冲区设计减少内存拷贝
事件聚合: 一次epoll_wait可以获取多个就绪事件

(4). 设计优势总结

高并发能力: 多个线程并行处理I/O，充分利用多核CPU
良好的缓存局部性: 每个连接固定在一个线程中处理
避免锁竞争: "one loop per thread"避免了大量同步开销
可扩展性: 可以根据CPU核数调整Sub Reactor数量

这种设计使得 muduo 能够在保持代码简洁的同时，达到非常高的性能表现，是现代高性能网络编程的经典模式。

(5). 与传统模式对比

特性	传统多线程	muduo Reactor
线程模型	一个连接配一个线程	事件驱动
内存消耗	高(每线程~8MB栈)	低
上下文切换	频繁	少
可扩展性	受限于线程数	高

这种设计特别适合高并发、长连接的网络服务，如Web服务器、游戏服务器等。muduo通过精心设计的reactor模式，在保持代码简洁的同时实现了高性能和高可靠性。

三、muduo的多Reactor模式

1. 职责分离

Main Reactor：等待连接建立，不涉及数据传输
Sub Reactor：等待数据传输，处理真正的业务数据

// Main Reactor主循环
void MainReactor::loop() {
    while (!quit_) {
        // 等待客户端连接请求（listenfd的EPOLLIN已提前注册）
        poller_->poll(&activeChannels_);
        
        // 处理连接请求
        for (auto& channel : activeChannels_) {
            if (channel->fd() == listenfd_) {
                handleNewConnection(); // 执行accept()建立连接
            }
        }
    }
}

// Sub Reactor主循环  
void SubReactor::loop() {
    while (!quit_) {
        // 等待数据传输事件发生（connfd的读写事件已注册）
        poller_->poll(&activeChannels_);
        
        // 处理数据传输
        for (auto& channel : activeChannels_) {
            channel->handleEvent(); // 处理数据读写/错误/关闭事件
        }
    }
}

两个阶段的本质区别：
Main Reactor：等待连接建立

// listenfd上的EPOLLIN事件 = 有客户端想要建立连接
// 这时还没有数据传输，只是连接请求
poller_->poll(&activeChannels_);  // 等待连接请求

Sub Reactor：等待数据传输

// connfd上的EPOLLIN/EPOLLOUT事件 = 有数据要读/写
// 这才是真正的数据传输
poller_->poll(&activeChannels_);  // 等待数据读写

2. 整体流程图

时间轴：

1. 服务器启动
   ├── 创建listenfd
   ├── 注册listenfd的EPOLLIN事件  ← 注册感兴趣事件
   └── Main Reactor开始等待

2. Main Reactor循环
   ├── epoll_wait(等待listenfd的EPOLLIN) ← 等待感兴趣事件发生
   ├── 客户端连接到达 → listenfd可读
   ├── accept()创建connfd
   └── 将connfd分发给Sub Reactor

3. Sub Reactor处理
   ├── 注册connfd的EPOLLIN/EPOLLOUT事件 ← 立即注册新连接的感兴趣事件
   └── 开始等待该连接的I/O事件

4. Sub Reactor循环  
   ├── epoll_wait(等待connfd的读写事件) ← 等待感兴趣事件发生
   ├── 客户端发送数据 → connfd可读
   └── 处理数据并响应

3. 流程对比

阶段	Main Reactor	Sub Reactor
监听的fd	listenfd（监听套接字）	connfd（连接套接字）
等待的事件	EPOLLIN（连接请求）	EPOLLIN/EPOLLOUT（数据读写）
事件含义	客户端想要连接	客户端发送/接收数据
处理动作	accept()建立连接	read()/write()传输数据

4. 网络层面的对应关系

TCP三次握手阶段：
Client发起连接 → listenfd可读 → Main Reactor处理 → accept() → 连接建立

数据传输阶段：  
Client发送数据 → connfd可读 → Sub Reactor处理 → read() → 读取数据
Server发送数据 → connfd可写 → Sub Reactor处理 → write() → 发送数据

5. 关键技术细节

连接分发策略：
muduo使用轮询(Round Robin)策略分发连接：

EventLoop* nextLoop = baseLoop_->getNextLoop();
TcpConnectionPtr conn = std::make_shared<TcpConnection>(
    nextLoop, connName, sockfd, localAddr, peerAddr);

线程模型映射：

Main Thread    → Main Reactor (EventLoop)
Worker Thread1 → Sub Reactor1 (EventLoop) 
Worker Thread2 → Sub Reactor2 (EventLoop)
Worker Thread3 → Sub Reactor3 (EventLoop)