brpc学习:ParallelChannel的使用

本文介绍了brpc中的ParallelChannel,它提供了一种更好的并发编程抽象,允许同步和异步访问,支持取消和超时。ParallelChannel组合多个sub channel,同时发送请求并合并响应。此外,文章还探讨了bvar计数器在监控ParallelChannel性能中的应用,如QPS、IO延迟等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、为什么要有parallel channel

关于ParallelChannel的使用,首先需要知道parallelchannel实际是为了更好的并发编程使用brpc而提供的一套api。在之前的博客中已经提到了如何使用brpc完成同步、异步的并发操作。虽然它们能完成异步并发的操作,但是这类代码的多线程陷阱很多,用户可能写出了bug也不自知,复现和调试也比较困难。而且实现要么只能支持同步的情况,要么得为异步重写一套。以"在多个异步RPC完成后运行一些代码"为例,它的同步实现一般是异步地发起多个RPC,然后逐个等待各自完成。

它的异步实现一般是用一个带计数器的回调,每当一个RPC完成时计数器减一,直到0时调用回调。可以看到它的缺点:

1.同步和异步代码不一致。用户无法轻易地从一个模式转为另一种模式。从设计的角度,不一致暗示了没有抓住本质。
2.往往不能被取消。正确及时地取消一个操作不是一件易事,何况是组合访问。但取消对于终结无意义的等待是很必要的。
3.不能继续组合。比如你很难把一个上述实现变成“更大"的访问模式的一部分。换个场景还得重写一套。

我们需要更好的抽象。如果我们能以不同的方式把一些Channel组合为更大的Channel,并把不同的访问模式置入其中,那么用户可以便用统一接口完成同步、异步、取消等操作。这种channel在brpc中被称为组合channel。

2、什么是parallel channel

ParallelChannel (有时被称为“pchan”)同时访问其包含的sub channel,并合并它们的结果。用户可通过CallMapper修改请求,通过ResponseMerger合并结果。ParallelChannel看起来就像是一个Channel:

  • 支持同步和异步访问。
  • 发起异步操作后可以立刻删除。
  • 可以取消。
  • 支持超时。

一个sub channel可多次加入同一个ParallelChannel。当你需要对同一个服务发起多次异步访问并等待它们完成的话,这很有用。

ParallelChannel的内部结构大致如下:
在这里插入图片描述
从这个结构图可以看到,实际parallel channel是组合了多个sub channel,然后将请求request发送到对应的所有sub channel上,然后将每个子response的结果,最后做一个合并传输给用户。

总的来说,用户自己去写多线程的同步异步操作可能会有很多bug,这里使用parallelchannel使用就不用担心这个问题,用户只需要记住加入哪几个sub channel,所有的线程接入的接口就是parallel channel,不用是关乎线程的竞争问题。sub channel可以在内部保证正确的线程rpc调用。

3、bvar计数器

在brpc中使用了大量的bvar,bvar是brpc内部的监控器,它可以监控在parallel channel中各个sub channel的性能(qps,io延时等等),详细的bvar的介绍和说明可以参考这篇博客:brpc学习:bvar

常用的bvar有:
•bvar::Adder : 计数器,默认0,varname << N相当于varname += N。
•bvar::Maxer : 求最大值,默认std::numeric_limits::min(),varname << N相当于varname = max(varname, N)。
•bvar::Miner : 求最小值,默认std::numeric_limits::max(),varname << N相当于varname = min(varname, N)。
•bvar::IntRecorder : 求自使用以来的平均值。注意这里的定语不是“一段时间内”。一般要通过Window衍生出时间窗口内的平均值。
•bvar::Window : 获得某个bvar在一段时间内的累加值。Window衍生于已存在的bvar,会自动更新。
•bvar::PerSecond : 获得某个bvar在一段时间内平均每秒的累加值。PerSecond也是会自动更新的衍生变量。
•bvar::LatencyRecorder : 专用于记录延时和qps的变量。输入延时,平均延时/最大延时/qps/总次数 都有了。
•bvar::Status:记录和显示一个值,拥有额外的set_value函数。
•bvar::PassiveStatus:按需显示值。在一些场合中,我们无法setvalue或不知道以何种频率setvalue,更适合的方式也许是当需要显示时才打印。用户传入打印回调函数实现这个目的。

4.实例

这里给出一个例子,这个例子来自brpc开源的parallel channel例子。例子主要思想是,开启50个线程去调用远程的rpc服务。每个parallel channel中设置有3个sub channel。最后通过bvar监控每个sub channel的性能并打印。
代码如下:

#include <gflags/gflags.h>
#include <bthread/bthread.h>
#include <butil/logging.h>
#include <butil/string_printf.h>
#include <butil/time.h>
#include <butil/macros.h>
#include <brpc/parallel_channel.h>	//包含parallel_channel模块的头文件
#include <brpc/server.h>			
#include "echo.pb.h"				

DEFINE_int32(thread_num, 50, "Number of threads to send requests");				//使用线程的个数
DEFINE_int32(channel_num, 3, "Number of sub channels");							//使用sub channel的个数
DEFINE_bool(same_channel, false, "Add the same sub channel multiple times");	//是不是添加同一个sub channel
DEFINE_bool(use_bthread, false, "Use bthread to send requests");				//是不是使用bthread 还是普通的pthread
DEFINE_int32(attachment_size, 0, "Carry so many byte attachment along with requests");
DEFINE_int32(request_size, 16, "Bytes of each request");
DEFINE_string(connection_type, "", "Connection type. Available values: single, pooled, short");
DEFINE_string(protocol, "baidu_std", "Protocol type. Defined in src/brpc/options.proto");
DEFINE_string(server, "0.0.0.0:8002", "IP Address of server");
DEFINE_string(load_balancer, "", "The algorithm for load balancing");
DEFINE_int32(timeout_ms, 100, "RPC timeout in milliseconds");
DEFINE_int32(max_retry, 3, "Max retries(not including the first RPC)"); 
DEFINE_bool(dont_fail, false, "Print fatal when some call failed");
DEFINE_int32(dummy_port, -1, "Launch dummy server at this port");

std::string g_request;
std:
<think>我们正在处理关于brpc中RelationRpcService的自定义配置问题,特别是naming版本、extra参数以及registerUrl的用法和含义。根据用户的问题,我们需要解释这些参数的具体含义和用法。首先,我们需要了解RelationRpcService是brpc中用于服务注册和发现的一个组件。在brpc中,服务注册到命名服务(如NamingService)以便客户端能够发现并调用。1.naming_version:这个参数通常用于指定命名服务的版本。在微服务架构中,服务可能有多个版本同时运行,客户端可以根据版本号选择调用特定版本的服务。例如,你可以将服务注册为v1、v2等,客户端在调用时也可以指定版本。在RelationRpcService中,这个参数可能用于在注册服务时指定服务的版本,以便命名服务能够区分不同版本的服务实例。2.extra:这个参数通常用于传递额外的元数据信息。在服务注册时,可能需要携带一些额外的信息,例如服务的环境(生产、测试)、地域、权重等。这些信息可以帮助客户端进行更精细的路由选择。在RelationRpcService中,extra参数可以是一个字符串,通常以键值对的形式传递,例如"key1=value1&key2=value2"。3.registerUrl:这个参数通常用于指定服务注册的地址。在brpc中,服务需要注册到一个注册中心(如ZooKeeper、etcd、Consul等)。registerUrl就是指向这个注册中心的地址。例如,如果使用ZooKeeper,registerUrl可能是"zk://host1:port1,host2:port2/path"。关于RelationRpcService的使用,通常是在定义服务时通过设置选项(options)来配置这些参数。例如:```cppbrpc::ServerOptionsoptions;options.nshead_service=newMyNsheadService;//如果你的服务是nshead服务//设置自定义的RelationRpcService参数options.naming_version="v1.0";options.extra="group=test&weight=10";options.registerUrl="file:///home/work/services.conf";//或者使用其他注册中心,如"zk://..."brpc::Serverserver;if(server.Start(port,&options)!=0){LOG(ERROR)<<"Failtostartserver";return-1;}```注意:以上代码仅为示例,具体参数设置方式可能因brpc版本而异。请参考brpc官方文档或源码。另外,用户提到了registerUrl的用法。在brpc中,注册服务通常使用NamingService来实现。registerUrl的格式取决于所使用的NamingService。例如:-使用文件命名服务:file://path/to/file-使用ZooKeeper:zk://host:port/path-使用etcd:etcd://host:port/path当服务启动时,它会将自身的信息(如地址、端口、服务名)注册到registerUrl指定的注册中心。总结:-naming_version:用于服务版本控制,便于客户端按版本调用。-extra:用于传递服务注册时的额外元数据。-registerUrl:指定服务注册中心的地址。由于用户的问题非常具体,可能需要查阅brpc的文档或源码来获取更准确的信息。但基于对brpc的常规理解,以上解释是合理的。生成相关问题:1.在brpc中,如何配置多个命名服务?2.RelationRpcService中extra参数的具体格式要求是什么?3.如何实现brpc服务的版本控制?4.在服务注册时,如何设置服务的权重?5.如何基于brpc实现服务的动态发现?</think>### BRPC RelationRpcService 参数解析 在 BRPC 框架中,`RelationRpcService` 是用于服务注册和发现的关键组件,其自定义配置参数含义如下: #### 1. **naming_version** - **含义**:指定服务注册时使用的命名版本号 - **作用**:用于多版本服务共存场景,客户端可通过指定版本号调用特定版本的服务 - **格式要求**:建议使用语义化版本格式(如 `v1.2.3`) - **注意事项**: - 版本号会作为服务标识的一部分写入注册中心 - 当服务升级时,新版本服务可并行注册而不影响旧版本 - 若版本号含特殊字符(如 `/`),建议使用 `$CI_COMMIT_REF_SLUG` 格式转换[^1] #### 2. **extra** - **含义**:附加元数据扩展字段 - **作用**:携带服务自定义信息(如机房位置、权重、环境标签等) - **典型用法**: ```cpp brpc::ServerOptions options; options.extra_info = "dc=bj&weight=80&env=prod"; // 键值对格式 ``` - **数据格式**: - 推荐 `key=value` 键值对格式 - 多参数用 `&` 连接 - 值需进行 URL 编码处理特殊字符 #### 3. **registerUrl** - **含义**:服务注册中心地址 - **协议支持**: - `file://`(本地文件,用于测试) - `zookeeper://`(生产环境常用) - `nacos://`(云原生环境) - `consul://` - **配置示例**: ```cpp // Zookeeper 注册中心 options.naming_service_url = "zookeeper://10.123.45.67:2181/service_path"; // 本地文件注册(调试用) options.naming_service_url = "file:///data/service_list.conf"; ``` - **工作流程**: 1. 服务启动时向 registerUrl 注册元数据 2. 客户端通过同一地址发现服务 3. 注册中心执行健康检查和服务状态同步[^2] #### 使用示例 ```cpp #include <brpc/server.h> class MyServiceImpl : public MyService { public: // RPC 方法实现 void MyMethod(..., brpc::Controller* cntl) { // 业务逻辑 // 可通过 cntl->http_request().uri() 获取额外参数 } }; int main() { brpc::Server server; MyServiceImpl my_service; brpc::ServerOptions options; // 关键参数配置 options.naming_version = "v2.3"; options.extra_info = "cluster=online&shard=01"; options.naming_service_url = "zookeeper://zk1.prod:2181,zk2.prod:2181/myapp"; // 注册服务 if (server.AddService(&my_service, brpc::SERVER_DOESNT_OWN_SERVICE) != 0) { LOG(ERROR) << "添加服务失败"; return -1; } // 启动服务 if (server.Start(8080, &options) != 0) { LOG(ERROR) << "启动服务失败"; return -1; } server.RunUntilAskedToQuit(); } ``` ### 最佳实践建议 1. **版本管理**:每次重要变更递增版本号,旧版本保留至少 24 小时 2. **extra 参数**: - 生产环境必传 `env=prod` 标签 - 权重值需配合负载均衡策略使用 3. **注册中心**: - ZooKeeper 集群至少配置 3 节点 - 文件注册方式仅限测试环境 4. **动态配置**:通过 `brpc::Server::UpdateOptions` 实现运行时参数更新 > 注:实际参数名可能因 BRPC 版本而异,请以官方文档为准。调试时可通过 `curl http://service_ip:port/vars | grep naming` 查看注册状态[^3]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值