BRPC中的组合通道(Combo Channel)技术详解-优快云博客

BRPC中的组合通道(Combo Channel)技术详解

brpc 项目地址: https://gitcode.com/gh_mirrors/br/brpc

概述

在现代分布式系统中，服务间的调用模式变得越来越复杂，经常需要并行发起多个RPC调用或进行分层访问。这种复杂性很容易引入多线程编程中的各种棘手问题，这些问题可能难以察觉、调试和复现。BRPC项目提供的组合通道(Combo Channel)技术正是为解决这些问题而设计的高级抽象。

组合通道的必要性

传统实现方式存在几个明显缺陷：

同步与异步模式代码不一致：同步模式通常实现为异步发起多个RPC然后分别等待完成，而异步模式则使用回调加引用计数的方式。这种不一致性表明设计上尚未抓住问题本质。
难以支持取消操作：正确取消单个RPC已非易事，更不用说组合RPC的取消。但在很多场景下，取消无意义的等待是必要的。
组合性差：难以将上述实现封装为更大模式的一部分，代码难以在不同场景中复用。

组合通道通过将多个通道组合成一个更大的通道，封装不同的访问模式，使用户能够通过一致统一的接口进行同步、异步和取消操作。

ParallelChannel详解

基本特性

ParallelChannel(简称pchan)会并行地向所有内部子通道发送请求并合并响应。它具有以下特点：

支持同步和异步访问
发起异步操作后可立即销毁
支持取消操作
支持超时设置

内部结构

ParallelChannel内部结构

ParallelChannel内部包含多个子通道，可以对这些子通道的请求和响应进行转换和合并。

关键配置

fail_limit：控制最大失败次数，达到限制时RPC会立即结束
success_limit：控制最大成功次数，达到限制时RPC会立即结束

核心组件

CallMapper：负责将ParallelChannel的RPC转换为子通道的RPC
- 可以修改请求字段后再发送
- 支持跳过特定子通道的调用
- 支持直接使用请求/响应中的子请求/响应
ResponseMerger：负责合并来自所有子通道的响应
- 默认行为是合并重复字段并覆盖其余部分
- 支持自定义合并逻辑
- 支持失败处理策略

使用示例

// 添加子通道示例
int AddChannel(brpc::ChannelBase* sub_channel,
               ChannelOwnership ownership,
               CallMapper* call_mapper,
               ResponseMerger* response_merger);

// 获取子通道控制器示例
const Controller* sub_controller = controller->sub(index);

SelectiveChannel详解

基本特性

SelectiveChannel(简称schan)使用负载均衡算法访问内部子通道之一，主要用于机器组间的负载均衡，特点包括：

支持同步和异步访问
发起异步操作后可立即销毁
支持取消操作
支持超时设置

与ParallelChannel的区别

动态添加子通道：可在任何时候调用AddChannel
自动拥有子通道的所有权
支持通过ChannelHandle动态移除和销毁通道
会覆盖子通道的超时设置

典型应用场景

将流量分配到多个命名服务
服务器分组后的流量分配

使用示例

brpc::SelectiveChannel schan;
brpc::ChannelOptions schan_options;
schan_options.timeout_ms = 500;
if (schan.Init("c_murmurhash", &schan_options) != 0) {
    // 错误处理
}

// 添加子通道
brpc::Channel* sub_channel = new brpc::Channel;
if (sub_channel->Init(ns_node_name, "rr", NULL) != 0) {
    // 错误处理
}
if (schan.AddChannel(sub_channel, NULL) != 0) {
    // 错误处理
}

PartitionChannel详解

基本特性

PartitionChannel是专门化的ParallelChannel，能基于命名服务中定义的标签自动添加子通道，特点包括：

支持通过标签自动分区
简化多分区配置
保持ParallelChannel的所有优点

动态分区方案

对于需要多种分区方法共存或平滑切换的场景，可以使用DynamicPartitionChannel：

为不同分区方法创建对应的子PartitionChannel
根据服务器容量分配流量到各分区
支持动态调整分区策略

使用示例

实现PartitionParser：

class MyPartitionParser : public brpc::PartitionParser {
public:
    bool ParseFromTag(const std::string& tag, brpc::Partition* out) {
        // 解析"N/M"格式的标签
        // N是分区索引，M是分区总数
    }
};

初始化PartitionChannel：

brpc::PartitionChannel channel;
brpc::PartitionChannelOptions options;
options.fail_limit = 1;
if (channel.Init(num_partition_kinds, new MyPartitionParser(),
                 server_address, load_balancer, &options) != 0) {
    // 错误处理
}