muduo应用层缓冲区buffer设计


一:

    muduo的I/O模型采用非阻塞模式,避免阻塞在read()或write()或其他系统调用上。

    

    TcpConnection必须要有output buffer 考虑一个常见场景:程序想通过TCP连接返送100k字节的数据,但在write()调用中,操作系统只接受了80k字节(受TCP advertised window的控制,细节见TCPv1),你肯定不想在原地等待,因为不知道会等待多久(取决于对方什么时候接收数据,然后滑动TCP窗口)。程序应该尽快交出控制权,返回eventloop。在这种情况下,剩余的20k字节数据怎么办?

    对,答案就是网络库来接管。网络库把它保存在output buffer里,然后注册POLLOUT事件,一旦socket变得可写就立刻发送给数据。当然,这第二次write()也不一定能完全写入20字节,那就继续关注POLLOUT事件。如果写完,停止关注POLLOUT,防止busy loop。(因为epoll采用level trigger)。

    如果output buffer里还有待发送的数据,而程序又想关闭连接(对程序而言,调用TcpConncetion之后就认为数据迟早会发送出去),这是不能立刻关闭连接,这就是muduo库的shutdown()没有立即关闭连接的原因。以后博客会写。

    

    TcpConnection必须要有input buffer TCP是一个无边界的字节流协议,接收方必须要处理“收到的数据尚不构成一条完整的消息”和“一次收到两条消息的数据”等等情况。一个常见的场景是,发送方send了两条10k字节的消息(共20k),接收方收到数据的情况可能是:

  • 一次性收到20k数据
  • 分两次收到,第一次5k,第二次15k
  • 分三次收到,第一次6k,第二次8k,第三次6k
  • 等等任何可能
    以上情况俗称“粘包”问题。
    
    网络库在处理“socket可读”事件的时候,必须一次性把socket中数据读完(从操作系统buffer搬到应用层buffer),否则会反复触发POLLIN事件,造成busy loop。
    如何处理?
    接收到数据,存在input buffer,通知上层的应用程序,OnMessage(buffer)回调,根据应用层协议判定是否是一个完整的包,进行codec解码,如果不是一条完整的消息,不会取走数据,也不会进行相应的处理。如果是一条完整的消息,将取走这条消息,并进行相应的处理。如何处理就是上层应用程序的职责了。

    所以,muduo库都是带缓冲的I/O,不会自己去read()或write()某个socket,只会操作TcpConnection的input buffer和output buffer。更确切的说,是在OnMessage()回调里读取input buffer;调用TcpConnection::send()来间接操作output buffer,一般不会直接操作output buffer。

    有关buffer的设计图示可以参考陈硕的博客: http://www.cppblog.com/Solstice/archive/2011/04/17/144378.html ,本文主要以程序角度来分析buffer的实现。
    

二:

首先来看一下Buffer的类成员:
class Buffer : public mud
### muduo::net::Buffer 的用法及常见问题分析 #### 1. **muduo::net::Buffer 类概述** `muduo::net::Buffer` 是一个高效的内存缓冲区实现,旨在简化 TCP 数据传输过程中的 I/O 操作。它解决了传统网络仅提供简单通知机制而不具备内置缓冲功能的问题[^1]。该类封装了一个动态增长的连续内存区域,能够自动扩展容量以适应不同大小的数据包。 核心特性包括但不限于以下几点: - 提供线程安全的操作接口。 - 支持零拷贝技术减少不必要的数据移动开销。 - 自动管理内部存储空间避免手动调整带来的复杂度。 具体而言,`Buffer` 主要由两部分构成:一是指向实际分配内存块起始位置的指针 `_bufferStart`;二是记录当前有效负载长度以及可用剩余空间的信息字段如 `readableBytes_`, `writableBytes_`. #### 2. **基本操作方法** ##### (a). 初始化与销毁 创建一个新的 `Buffer` 对象通常无需显式指定初始尺寸,默认情况下会预留一定数量的字节作为起点。析构函数则负责释放关联的所有资源确保无泄漏风险存在。 ```cpp // 构造函数实例化新对象 muduo::net::Buffer bufferInstance; ``` ##### (b). 添加数据到缓存尾部 通过追加方式向现有内容之后附加新的数据片段非常简便直观。 ```cpp const char message[] = "Hello Muduo!"; bufferInstance.append(message, sizeof(message)-1); // 不含结尾'\0' ``` 此处第二个参数表明待加入字符串的实际长度(排除终止符),从而精确控制目标范围边界条件[^2]. ##### (c). 获取可读取视图窗口 允许外部访问已填充完毕的部分以便执行进一步处理动作比如序列化解码等工作流程环节。 ```cpp size_t readableSize = bufferInstance.readableBytes(); const char* dataPtr = bufferInstance.peek(); std::string receivedData(dataPtr, readableSize); processIncomingMessage(receivedData); // 用户自定义消息处理器原型示意 ``` 上述代码段先查询有多少字节能够立即消费掉紧接着提取首地址形成临时副本传递给高层应用层逻辑单元继续运作下去[^3]. ##### (d). 移除已经消耗过的前缀成分 一旦确认某些数据已经被妥善处置过后就应该及时将其从队列前端剔除出去腾出更多地方接纳后续到来的新批次材料进来。 ```cpp bufferInstance.retrieve(readableSize); ``` 这一步骤本质上修改了内部索引标记使得原先占据的位置变得不可见但仍保留物理上的连续性特征不变样貌依旧保持整齐有序排列状态之中[^4]. #### 3. **常见问题解答** 问: 当频繁触发扩容行为时是否会引发显著性能下降? 答: 设计之初便充分考虑到这一点因此采用了指数级倍增策略即每次超出限额都会按照原规模翻番重新申请更大规格的一整片空白领域覆盖旧址之上进而摊薄长期平均成本达到最优平衡点附近徘徊浮动不定程度较小几乎可以忽略不计的程度范围内游走变化着[^5]. ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值