Apache BRPC中的Streaming RPC技术详解

最新推荐文章于 2025-06-02 09:15:42 发布

姜闽弋Flora

最新推荐文章于 2025-06-02 09:15:42 发布

阅读量218

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00800/article/details/148375454

Apache BRPC中的Streaming RPC技术详解

brpc brpc是百度开发的一套高性能RPC框架，特点是支持多种协议、多语言、高并发等。适用于需要高性能RPC服务的场景。项目地址: https://gitcode.com/gh_mirrors/brpc/brpc

什么是Streaming RPC

在分布式系统中，我们经常需要在不同节点间传输大量数据，比如数据库副本、系统快照等。传统RPC在处理这类场景时存在明显不足：

如果采用并行RPC传输，无法保证数据接收顺序，拼接逻辑复杂
如果采用串行RPC传输，每次传输都需要等待网络RTT+处理延迟，效率低下

Apache BRPC提供的Streaming RPC技术解决了这些问题。它允许客户端和服务端之间建立用户态的流式连接（Stream），在同一TCP连接上可以同时存在多个Stream。数据以消息为单位在Stream中传输，发送方可以持续写入消息，接收方会按写入顺序接收。

Streaming RPC核心特性

消息边界保持：每个消息保持完整性和独立性
严格有序传输：接收顺序与发送顺序完全一致
全双工通信：双方可以同时读写
流控机制：防止接收方被过快的数据淹没
超时提醒：长时间无数据传输会触发通知

使用场景分析

Streaming RPC特别适合以下场景：

大数据块传输（如文件、镜像）
持续数据流（如日志流、视频流）
需要保证顺序的数据传输
需要双向通信的场景

建立Stream连接

Stream连接由客户端发起建立，过程分为三个步骤：

客户端创建本地Stream
通过一次RPC（必须使用baidu_std协议）尝试与服务端建立Stream
服务端接受后Stream建立成功

// 客户端创建单个Stream
StreamId stream_id;
StreamOptions options;
// 配置options参数...
int rc = StreamCreate(&stream_id, cntl, &options);

// 客户端创建多个Stream
StreamIds stream_ids;
int stream_count = 3;
int rc = StreamCreate(stream_ids, stream_count, cntl, &options);

服务端接受Stream

服务端收到带有Stream的RPC请求后，可以调用StreamAccept接受：

// 服务端接受单个Stream
StreamId response_stream;
int rc = StreamAccept(&response_stream, cntl, &options);

// 服务端接受多个Stream
StreamIds response_streams;
int rc = StreamAccept(response_streams, cntl, &options);

数据读写机制

数据读取

通过继承StreamInputHandler类并实现回调方法处理数据：

class MyStreamHandler : public StreamInputHandler {
public:
    int on_received_messages(StreamId id, butil::IOBuf* const messages[], size_t size) override {
        // 处理接收到的消息
        return 0;
    }
    
    void on_idle_timeout(StreamId id) override {
        // 处理空闲超时
    }
    
    void on_closed(StreamId id) override {
        // 处理连接关闭
    }
};

数据写入

使用StreamWrite方法写入数据：

butil::IOBuf message;
// 填充message数据...
int rc = StreamWrite(stream_id, message);
if (rc != 0) {
    // 错误处理
}

流控机制

当待处理数据超过阈值时，写入操作会返回EAGAIN错误。可以通过以下方式处理：

// 同步等待
timespec due_time = {...};  // 设置超时时间
int rc = StreamWait(stream_id, &due_time);

// 异步等待
StreamWait(stream_id, &due_time, [](StreamId id, void* arg, int error) {
    // 可写回调处理
}, nullptr);