分布式消息队列 RocketMQ 源码分析 —— Filtersrv

JsonFilterServer:简单的 JSON 数据过滤服务器 Json过滤器服务器 一个简单的 JSON 数据过滤服务器 安装 在下载 node 并安装它,如果你还没有的话。 npm install JsonFilterServer --save 测试 npm install npm test > JsonFilterServer@1.0.0 test C:\workspace\nodejs\source\JsonFilterServer > mocha Filter #metadataFilter() √ should function be defined element = {} √ should handle bad data with exceptions √ should return an array of objects √ should return objec 立即下载

摘要: 原创出处 http://www.iocoder.cn/RocketMQ/filtersrv/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 RocketMQ 4.0.x 正式版


������关注微信公众号:【芋道源码】有福利:
1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。

> 5. 认真的源码交流微信群。

1. 概述

Filtersrv ,负责自定义规则过滤 Consumer 从 Broker 拉取的消息。

Filtersrv.png

为什么 Broker 不提供过滤消息的功能呢?我们来看看官方的说法:

  • Broker 端消息过滤
    在 Broker 中,按照 Consumer 的要求做过滤,优点是减少了对于 Consumer 无用消息的网络传输。 缺点是增加了 Broker 的负担,实现相对复杂。
    (1). 淘宝 Notify 支持多种过滤方式,包含直接按照消息类型过滤,灵活的语法表达式过滤,几乎可以满足最苛刻的过滤需求。
    (2). 淘宝 RocketMQ 支持按照简单的 Message Tag 过滤,也支持按照 Message Header、body 进行过滤。
    (3). CORBA Notification 规范中也支持灵活的语法表达式过滤。
  • Consumer 端消息过滤
    这种过滤方式可由应用完全自定义实现,但是缺点是很多无用的消息要传输到 Consumer 端。

就是在这种考虑下,Filtersrv 出现了。减少了 Broker 的负担,又减少了 Consumer 接收无用的消息。当然缺点也是有的,多了一层 Filtersrv 网络开销。

2. Filtersrv 注册到 Broker

  • �� 一个 Filtersrv 只对应一个 Broker。
  • �� 一个 Broker 可以对应多个 Filtersrv。Filtersrv 的高可用通过启动多个 Filtersrv 实现。
  • �� Filtersrv 注册失败时,主动退出关闭。

核心代码如下:

  1: // ⬇️⬇️⬇️【FiltersrvController.java】
  2: public boolean initialize() {
  3:     // ....(省略代码)
  4: 
  5:     // 固定间隔注册到Broker
  6:     this.scheduledExecutorService.scheduleAtFixedRate(new Runnable() {
  7: 
  8:         @Override
  9:         public void run() {
 10:             FiltersrvController.this.registerFilterServerToBroker();
 11:         }
 12:     }, 15, 10, TimeUnit.SECONDS); // TODO edit by 芋艿:initialDelay时间太短,可能导致初始化失败。从3=》15
 13: 
 14:     // ....(省略代码)
 15: }
 16: 
 17: /**
 18:  * 注册Filtersrv 到 Broker
 19:  * !!!如果注册失败,关闭Filtersrv
 20:  */
 21: public void registerFilterServerToBroker() {
 22:     try {
 23:         RegisterFilterServerResponseHeader responseHeader =
 24:             this.filterServerOuterAPI.registerFilterServerToBroker(
 25:                 this.filtersrvConfig.getConnectWhichBroker(), this.localAddr());
 26:         this.defaultMQPullConsumer.getDefaultMQPullConsumerImpl().getPullAPIWrapper()
 27:             .setDefaultBrokerId(responseHeader.getBrokerId());
 28: 
 29:         if (null == this.brokerName) {
 30:             this.brokerName = responseHeader.getBrokerName();
 31:         }
 32: 
 33:         log.info("register filter server<{}> to broker<{}> OK, Return: {} {}",
 34:             this.localAddr(),
 35:             this.filtersrvConfig.getConnectWhichBroker(),
 36:             responseHeader.getBrokerName(),
 37:             responseHeader.getBrokerId());
 38:     } catch (Exception e) {
 39:         log.warn("register filter server Exception", e);
 40: 
 41:         log.warn("access broker failed, kill oneself");
 42:         System.exit(-1); // 异常退出
 43:     }
 44: }

3. 过滤类

Filtersrv过滤类

3.1 Consumer 订阅时设置 过滤类代码

  • �� Consumer 针对每个 Topic 可以订阅不同的 过滤类代码。
  1: // ⬇️⬇️⬇️【DefaultMQPushConsumer.java】
  2: @Override
  3: public void subscribe(String topic, String fullClassName, String filterClassSource) throws MQClientException {
  4:     this.defaultMQPushConsumerImpl.subscribe(topic, fullClassName, filterClassSource);
  5: }

3.2 Consumer 上传 过滤类代码

  • �� Consumer 心跳注册到 Broker 的同时,上传 过滤类代码 到 Broker 对应的所有 Filtersrv。
  1: // ⬇️⬇️⬇️【MQClientInstance.java】
  2: /**
  3:  * 发送心跳到Broker,上传过滤类源码到Filtersrv
  4:  */
  5: public void sendHeartbeatToAllBrokerWithLock() {
  6:     if (this.lockHeartbeat.tryLock()) {
  7:         try {
  8:             this.sendHeartbeatToAllBroker();
  9:             this.uploadFilterClassSource();
 10:         } catch (final Exception e) {
 11:             log.error("sendHeartbeatToAllBroker exception", e);
 12:         } finally {
 13:             this.lockHeartbeat.unlock();
 14:         }
 15:     } else {
 16:         log.warn("lock heartBeat, but failed.");
 17:     }
 18: }
 19: 
 20: /**
 21:  * 上传过滤类到Filtersrv
 22:  */
 23: private void uploadFilterClassSource() {
 24:     Iterator> it = this.consumerTable.entrySet().iterator();
 25:     while (it.hasNext()) {
 26:         Entry next = it.next();
 27:         MQConsumerInner consumer = next.getValue();
 28:         if (ConsumeType.CONSUME_PASSIVELY == consumer.consumeType()) {
 29:             Set subscriptions = consumer.subscriptions();
 30:             for (SubscriptionData sub : subscriptions) {
 31:                 if (sub.isClassFilterMode() && sub.getFilterClassSource() != null) {
 32:                     final String consumerGroup = consumer.groupName();
 33:                     final String className = sub.getSubString();
 34:                     final String topic = sub.getTopic();
 35:                     final String filterClassSource = sub.getFilterClassSource();
 36:                     try {
 37:                         this.uploadFilterClassToAllFilterServer(consumerGroup, className, topic, filterClassSource);
 38:                     } catch (Exception e) {
 39:                         log.error("uploadFilterClassToAllFilterServer Exception", e);
 40:                     }
 41:                 }
 42:             }
 43:         }
 44:     }
 45: }

3.3 Filter 编译 过滤类代码

  • �� Filtersrv 处理 Consumer 上传的 过滤类代码,并进行编译使用。

核心代码如下:

  1: // ⬇️⬇️⬇️【FilterClassManager.java】
  2: /**
  3:  * 注册过滤类
  4:  *
  5:  * @param consumerGroup 消费分组
  6:  * @param topic Topic
  7:  * @param className 过滤类名
  8:  * @param classCRC 过滤类源码CRC
  9:  * @param filterSourceBinary 过滤类源码
 10:  * @return 是否注册成功
 11:  */
 12: public boolean registerFilterClass(final String consumerGroup, final String topic,
 13:     final String className, final int classCRC, final byte[] filterSourceBinary) {
 14:     final String key = buildKey(consumerGroup, topic);
 15:     // 判断是否要注册新的过滤类
 16:     boolean registerNew = false;
 17:     FilterClassInfo filterClassInfoPrev = this.filterClassTable.get(key);
 18:     if (null == filterClassInfoPrev) {
 19:         registerNew = true;
 20:     } else {
 21:         if (this.filtersrvController.getFiltersrvConfig().isClientUploadFilterClassEnable()) {
 22:             if (filterClassInfoPrev.getClassCRC() != classCRC && classCRC != 0) { // 类有变化
 23:                 registerNew = true;
 24:             }
 25:         }
 26:     }
 27:     // 注册新的过滤类
 28:     if (registerNew) {
 29:         synchronized (this.compileLock) {
 30:             filterClassInfoPrev = this.filterClassTable.get(key);
 31:             if (null != filterClassInfoPrev && filterClassInfoPrev.getClassCRC() == classCRC) {
 32:                 return true;
 33:             }
 34:             try {
 35:                 FilterClassInfo filterClassInfoNew = new FilterClassInfo();
 36:                 filterClassInfoNew.setClassName(className);
 37:                 filterClassInfoNew.setClassCRC(0);
 38:                 filterClassInfoNew.setMessageFilter(null);
 39: 
 40:                 if (this.filtersrvController.getFiltersrvConfig().isClientUploadFilterClassEnable()) {
 41:                     String javaSource = new String(filterSourceBinary, MixAll.DEFAULT_CHARSET);
 42:                     // 编译新的过滤类
 43:                     Class newClass = DynaCode.compileAndLoadClass(className, javaSource);
 44:                     // 创建新的过滤类对象
 45:                     Object newInstance = newClass.newInstance();
 46:                     filterClassInfoNew.setMessageFilter((MessageFilter) newInstance);
 47:                     filterClassInfoNew.setClassCRC(classCRC);
 48:                 }
 49: 
 50:                 this.filterClassTable.put(key, filterClassInfoNew);
 51:             } catch (Throwable e) {
 52:                 String info = String.format("FilterServer, registerFilterClass Exception, consumerGroup: %s topic: %s className: %s",
 53:                             consumerGroup, topic, className);
 54:                 log.error(info, e);
 55:                 return false;
 56:             }
 57:         }
 58:     }
 59: 
 60:     return true;
 61: }

4. 过滤消息

Filtersrv.png

4.1 Consumer 从 Filtersrv 拉取消息

  • �� Consumer 拉取 使用过滤类方式订阅 的消费消息时,从 Broker 对应的 Filtersrv 列表随机选择一个拉取消息。如果选择不到 Filtersrv,则无法拉取消息。因此,Filtersrv 一定要做高可用。
  1: // ⬇️⬇️⬇️【PullAPIWrapper.java】
  2: /**
  3:  * 拉取消息核心方法
  4:  *
  5:  * @param mq 消息嘟列
  6:  * @param subExpression 订阅表达式
  7:  * @param subVersion 订阅版本号
  8:  * @param offset 拉取队列开始位置
  9:  * @param maxNums 批量拉 取消息数量
 10:  * @param sysFlag 拉取系统标识
 11:  * @param commitOffset 提交消费进度
 12:  * @param brokerSuspendMaxTimeMillis broker挂起请求最大时间
 13:  * @param timeoutMillis 请求broker超时时间
 14:  * @param communicationMode 通讯模式
 15:  * @param pullCallback 拉取回调
 16:  * @return 拉取消息结果。只有通讯模式为同步时,才返回结果,否则返回null。
 17:  * @throws MQClientException 当寻找不到 broker 时,或发生其他client异常
 18:  * @throws RemotingException 当远程调用发生异常时
 19:  * @throws MQBrokerException 当 broker 发生异常时。只有通讯模式为同步时才会发生该异常。
 20:  * @throws InterruptedException 当发生中断异常时
 21:  */
 22: protected PullResult pullKernelImpl(
 23:     final MessageQueue mq,
 24:     final String subExpression,
 25:     final long subVersion,
 26:     final long offset,
 27:     final int maxNums,
 28:     final int sysFlag,
 29:     final long commitOffset,
 30:     final long brokerSuspendMaxTimeMillis,
 31:     final long timeoutMillis,
 32:     final CommunicationMode communicationMode,
 33:     final PullCallback pullCallback
 34: ) throws MQClientException, RemotingException, MQBrokerException, InterruptedException {
 35:     // // ....(省略代码)
 36:     // 请求拉取消息
 37:     if (findBrokerResult != null) {
 38:         // ....(省略代码)
 39:         // 若订阅topic使用过滤类,使用filtersrv获取消息
 40:         String brokerAddr = findBrokerResult.getBrokerAddr();
 41:         if (PullSysFlag.hasClassFilterFlag(sysFlagInner)) {
 42:             brokerAddr = computPullFromWhichFilterServer(mq.getTopic(), brokerAddr);
 43:         }
 44: 
 45:         PullResult pullResult = this.mQClientFactory.getMQClientAPIImpl().pullMessage(
 46:             brokerAddr,
 47:             requestHeader,
 48:             timeoutMillis,
 49:             communicationMode,
 50:             pullCallback);
 51: 
 52:         return pullResult;
 53:     }
 54: 
 55:     // Broker信息不存在,则抛出异常
 56:     throw new MQClientException("The broker[" + mq.getBrokerName() + "] not exist", null);
 57: }
 58: 
 59: /**
 60:  * 计算filtersrv地址。如果有多个filtersrv,随机选择一个。
 61:  *
 62:  * @param topic Topic
 63:  * @param brokerAddr broker地址
 64:  * @return filtersrv地址
 65:  * @throws MQClientException 当filtersrv不存在时
 66:  */
 67: private String computPullFromWhichFilterServer(final String topic, final String brokerAddr)
 68:     throws MQClientException {
 69:     ConcurrentHashMap topicRouteTable = this.mQClientFactory.getTopicRouteTable();
 70:     if (topicRouteTable != null) {
 71:         TopicRouteData topicRouteData = topicRouteTable.get(topic);
 72:         List list = topicRouteData.getFilterServerTable().get(brokerAddr);
 73:         if (list != null && !list.isEmpty()) {
 74:             return list.get(randomNum() % list.size());
 75:         }
 76:     }
 77:     throw new MQClientException("Find Filter Server Failed, Broker Addr: " + brokerAddr + " topic: "
 78:         + topic, null);
 79: }

4.2 Filtersrv 从 Broker 拉取消息

  • �� Filtersrv 拉取消息后,会建议 Consumer 向 Broker主节点 拉取消息。
  • �� Filtersrv 可以理解成一个 Consumer,向 Broker 拉取消息时,实际使用的 DefaultMQPullConsumer.java 的方法和逻辑。
  1: // ⬇️⬇️⬇️【DefaultRequestProcessor.java】
  2: /**
  3:  * 拉取消息
  4:  *
  5:  * @param ctx 拉取消息context
  6:  * @param request 拉取消息请求
  7:  * @return 响应
  8:  * @throws Exception 当发生异常时
  9:  */
 10: private RemotingCommand pullMessageForward(final ChannelHandlerContext ctx, final RemotingCommand request) throws Exception {
 11:     final RemotingCommand response = RemotingCommand.createResponseCommand(PullMessageResponseHeader.class);
 12:     final PullMessageResponseHeader responseHeader = (PullMessageResponseHeader) response.readCustomHeader();
 13:     final PullMessageRequestHeader requestHeader =
 14:         (PullMessageRequestHeader) request.decodeCommandCustomHeader(PullMessageRequestHeader.class);
 15: 
 16:     final FilterContext filterContext = new FilterContext();
 17:     filterContext.setConsumerGroup(requestHeader.getConsumerGroup());
 18: 
 19:     response.setOpaque(request.getOpaque());
 20: 
 21:     DefaultMQPullConsumer pullConsumer = this.filtersrvController.getDefaultMQPullConsumer();
 22: 
 23:     // 校验Topic过滤类是否完整
 24:     final FilterClassInfo findFilterClass = this.filtersrvController.getFilterClassManager().findFilterClass(requestHeader.getConsumerGroup(), requestHeader.getTopic());
 25:     if (null == findFilterClass) {
 26:         response.setCode(ResponseCode.SYSTEM_ERROR);
 27:         response.setRemark("Find Filter class failed, not registered");
 28:         return response;
 29:     }
 30:     if (null == findFilterClass.getMessageFilter()) {
 31:         response.setCode(ResponseCode.SYSTEM_ERROR);
 32:         response.setRemark("Find Filter class failed, registered but no class");
 33:         return response;
 34:     }
 35: 
 36:     // 设置下次请求从 Broker主节点。
 37:     responseHeader.setSuggestWhichBrokerId(MixAll.MASTER_ID);
 38: 
 39:     MessageQueue mq = new MessageQueue();
 40:     mq.setTopic(requestHeader.getTopic());
 41:     mq.setQueueId(requestHeader.getQueueId());
 42:     mq.setBrokerName(this.filtersrvController.getBrokerName());
 43:     long offset = requestHeader.getQueueOffset();
 44:     int maxNums = requestHeader.getMaxMsgNums();
 45: 
 46:     final PullCallback pullCallback = new PullCallback() {
 47: 
 48:         @Override
 49:         public void onSuccess(PullResult pullResult) {
 50:             responseHeader.setMaxOffset(pullResult.getMaxOffset());
 51:             responseHeader.setMinOffset(pullResult.getMinOffset());
 52:             responseHeader.setNextBeginOffset(pullResult.getNextBeginOffset());
 53:             response.setRemark(null);
 54: 
 55:             switch (pullResult.getPullStatus()) {
 56:                 case FOUND:
 57:                     response.setCode(ResponseCode.SUCCESS);
 58: 
 59:                     List msgListOK = new ArrayList();
 60:                     try {
 61:                         for (MessageExt msg : pullResult.getMsgFoundList()) {
 62:                             // 使用过滤类过滤消息
 63:                             boolean match = findFilterClass.getMessageFilter().match(msg, filterContext);
 64:                             if (match) {
 65:                                 msgListOK.add(msg);
 66:                             }
 67:                         }
 68: 
 69:                         if (!msgListOK.isEmpty()) {
 70:                             returnResponse(requestHeader.getConsumerGroup(), requestHeader.getTopic(), ctx, response, msgListOK);
 71:                             return;
 72:                         } else {
 73:                             response.setCode(ResponseCode.PULL_RETRY_IMMEDIATELY);
 74:                         }
 75:                     } catch (Throwable e) {
 76:                         final String error =
 77:                             String.format("do Message Filter Exception, ConsumerGroup: %s Topic: %s ",
 78:                                 requestHeader.getConsumerGroup(), requestHeader.getTopic());
 79:                         log.error(error, e);
 80: 
 81:                         response.setCode(ResponseCode.SYSTEM_ERROR);
 82:                         response.setRemark(error + RemotingHelper.exceptionSimpleDesc(e));
 83:                         returnResponse(requestHeader.getConsumerGroup(), requestHeader.getTopic(), ctx, response, null);
 84:                         return;
 85:                     }
 86: 
 87:                     break;
 88:                 case NO_MATCHED_MSG:
 89:                     response.setCode(ResponseCode.PULL_RETRY_IMMEDIATELY);
 90:                     break;
 91:                 case NO_NEW_MSG:
 92:                     response.setCode(ResponseCode.PULL_NOT_FOUND);
 93:                     break;
 94:                 case OFFSET_ILLEGAL:
 95:                     response.setCode(ResponseCode.PULL_OFFSET_MOVED);
 96:                     break;
 97:                 default:
 98:                     break;
 99:             }
100: 
101:             returnResponse(requestHeader.getConsumerGroup(), requestHeader.getTopic(), ctx, response, null);
102:         }
103: 
104:         @Override
105:         public void onException(Throwable e) {
106:             response.setCode(ResponseCode.SYSTEM_ERROR);
107:             response.setRemark("Pull Callback Exception, " + RemotingHelper.exceptionSimpleDesc(e));
108:             returnResponse(requestHeader.getConsumerGroup(), requestHeader.getTopic(), ctx, response, null);
109:             return;
110:         }
111:     };
112: 
113:     // 拉取消息
114:     pullConsumer.pullBlockIfNotFound(mq, null, offset, maxNums, pullCallback);
115:     return null;
116: }

5. Filtersrv 高可用

Filtersrv过可用

666. 彩蛋

知识星球


������关注微信公众号:【芋道源码】有福利:
1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。
5. 认真的源码交流微信群。

LinuxMint 22.1(Ubuntu24.04)下通过Wine完美运行同花顺远航版的实战指南 本文详细介绍了在LinuxMint 22.1(Ubuntu24.04)系统下通过Wine完美运行同花顺远航版的实战指南。从基础环境准备到深度优化,包括Wine环境配置、同花顺远航版安装、字体显示调优、任务栏兼容性修复等关键步骤,帮助Linux用户高效使用同花顺远航版进行股票交易和行情分析。 阅读详情

相关推荐

Unity安卓打包实战:SDK与JDK配置全攻略

本文详细介绍了Unity安卓打包过程中SDK与JDK的配置方法,包括工具下载、安装步骤、环境变量设置及常见错误排查。通过实战指南帮助开发者快速完成Unity安卓打包环境搭建,提升开发效率。

weixin_30338481的博客 420

【rocketmq系列】第三篇消息过滤机制

本文主要阐述 ClassFilter过滤机制实现。 文章目录一、ClassFilter 消息过滤机制 FilterServer详解2.1 ClassFilter模式 消息过滤类注册机制DefaultMQPushConsumerImpl#subscribeMQClientInstance#sendHeartbeatToAllBrokerWithLock重点关注MQClientInstance#uploadFilterClassSource方法继续进入MQClientInstance#uploadFilter

乐乐的博客 702

MIKE11实战:平原河网水动力建模从入门到精通(附GIS数据处理技巧)

本文系统介绍了MIKE11软件在平原河网水动力建模中的完整实战流程。从GIS数据预处理、河网构建、参数率定到结果分析,详细阐述了构建可靠数字孪生模型的关键步骤与技巧,旨在帮助水利工程师高效解决平原地区复杂水流模拟的挑战,为防洪决策提供科学依据。

weixin_28419039的博客 690

【消息队列】RocketMQ 配置文件broker

broker主要涉及broker 配置文件、broker 启动流程、broker延迟消息、broker消息存储。

天天新知 1779

OCTA-500:用于光学相干断层扫描血管造影研究的视网膜数据集|文献速递-基于生成模型的数据增强与疾病监测应用

数据集提供了丰富的图像和注释,包括两种模态(OCT/OCTA体积)、六种投影类型、四种文本标签(年龄/性别/眼别/疾病)以及七种分割标签(大血管/毛细血管/动脉/静脉/2D FAZ/3D FAZ/视网膜层)。我们介绍了新的 OCTA-500 数据集,该数据集包含来自 500 名受试者的 OCTA 成像,并提供了丰富的图像和标注集。(C) OCTA-500 切片的人工标注示例。图 4. OCTA-500 数据集中文本标签的统计直方图:(a) 性别,(b) 眼别,(c) 年龄,(d) 疾病。

weixin_38594676的博客 1439

【异常】QClaw客户端安装失败(OpenClaw资源解压出错)问题排查与修复指南: 安装失败:OpenClaw 资源解压出错。 请重新安装或联系支持。

摘要:QClaw客户端安装失败报错"OpenClaw资源解压出错"的主要原因是资源包解压异常,常见于安装包损坏、系统权限不足、安全软件拦截、旧版本残留或系统环境问题。解决方案分三步:1)快速修复:重新下载安装包、管理员权限运行、关闭安全防护;2)深度修复:清理旧版本残留、修复系统组件;3)终极方案:收集日志联系官方支持。建议优先检查安装包完整性并使用纯英文安装路径,80%问题可通过快速修复方案解决。

奶爸的编程之路,也就一周冷个三天 383

RocketMQ消息过滤 FilterServer

在消息消费的时候,我们会考虑到各种情况,并不是所有消息都需要进行消费的,需要查询出包含特殊标志的消息进行消费,而本章主要分析 RocketMQ 基于类模式的消息过滤机制,主要内容如下 。 • ClassFilter 运行机制 • FilterClass 订阅信息注册 • FilterServer 注册剖析 ·消息拉取(拉模式) 1 ClassFilter 运行机制 基于类模式过滤是指在 Broker 端运行 1 个或多个消息过滤服务器( FilterServer ),RocketMQ 允许消息消费者自定义消

chenbin1991smile的博客 971

SpringCloud详细教程(下)

SpringCloud详细教程,springcloud完全教程。Springcloud微服务教程(上)的姊妹篇:介绍了其它SpringCloud组件。

鸟哥哥的专栏 4万+

源码分析RocketMQ消息过滤机制下篇-FilterServer、ClassFilter模式详解

继上篇源码分析了 Tag 过滤机制实现原理,本文主要阐述 RocketMQ SQL92 表达式与 ClassFilte r过滤机制实现。 1、RocketMQ SQL92实现原理分析 入口:PullMessageProcessor#processRequest if (!ExpressionType.isTagType(subscriptionData.getExpressionType(...

中间件兴趣圈 3682

ZooKeeper 实战:使用 Docker Compose 部署 ZooKeeper 集群

ZooKeeper是一个开源的分布式协调服务,用于管理大型分布式系统中的数据。它由Apache软件基金会提供,最初是Hadoop的一个子项目,但后来发展成为一个独立的顶级项目。ZooKeeper提供的一致性协调服务对于构建分布式应用和服务非常重要,特别是在需要精确的领导选举、配置管理、命名服务、分布式同步和提供分布式锁等功能时。

SmartSi 1544

ROS2 多机器人导航仿真入门教程(一)

RMF 是建立在 ROS 2 基础上的一系列可重复使用、可扩展的库和工具,可实现任何类型机器人系统的异构机群的互操作性。RMF 利用标准化的通信协议与部署机器人的基础设施、环境和自动化系统进行通信,以优化关键资源(如机器人、电梯、门、通道等)的使用。它通过资源分配和通过 RMF 核心(将在本书后面详细介绍)防止共享资源冲突,从而为系统增加智能。RMF 灵活而强大,几乎可以在任何通信层上运行,并与任何数量的物联网设备集成。RMF 的架构设计允许随着环境自动化水平的提高而扩展。

2506_90492529的博客 1662

RocketMQ源码 Broker-FilterServerManager 过滤服务器管理组件源码分析

FilterServerManager负责维护过滤服务器长连接 与 过滤服务器信息映射关系,并且内部有定时调度线程,不断检查过滤服务器实际数量和配置数量是否一致,如果不一致,就根据配置构建命令行命令,执行命令启动 FilterServer 过滤服务器进程。

hzwangmr的博客 593

5、流体-结构相互作用耦合技术详解

本文详细解析了流体-结构相互作用(FSI)的两种核心耦合技术:松散耦合和紧密耦合。通过原理阐述、优缺点分析及实际应用案例,对比了两种方法的适用场景与性能差异,并进一步探讨了高级耦合技术的发展趋势和工程实践方向,为相关领域的研究人员和工程师提供了全面的技术参考。

fanta的博客 205

RocketMQ 源码合集

消息队列中间件 RocketMQ 源码分析 —— Message 发送与接收 消息队列中间件 RocketMQ 源码分析 —— Message 存储 分布式消息队列 RocketMQ 源码分析 —— Message 拉取与消费(上) 分布式消息队列 RocketMQ 源码分析 —— Message 拉取与消费(下) 分布式消息队列 RocketMQ 源码...

suixinm的专栏 319

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

RocketMQ (十三) 参数约束和建议

RocketMQ(参数约束和建议)

dmjxsy的博客 2677

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

RocketMQ源码分析之拉取消息(2)

判断新的消息队列是否包含已经在处理的消息队列,不包含的话说明现在处理的消息队列已经不属于本实例了,所以需要剔除掉,最后删除掉该消息队列 public boolean removeUnnecessaryMessageQueue(MessageQueue mq, ProcessQueue pq) { this.defaultMQPushConsumerImpl.getOffsetStore...

937

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

RocketMQ Filtersrv详解

RocketMQ Filtersrv详解 Metaq 3.0以后改名为RocketMQ,阿里云的ONS则是基于RocketMQ搭建的。今天闲着无事,把RocketMQ的代码clone到本地分析了一 下,从clone下来的代码,结构还是比较清晰的,代码量也不是很多。我发现其中一个模块我之前没有听说过的。于是就抱着一探究竟的目的,去看看它是何 物,这个模块就是filtersrv,是RocketMQ...

xiaomin1991222的专栏 613

RocketMQ源码阅读-九-自定义过滤规则Flitersrv

Filtersrv ,负责自定义规则过滤 Consumer 从 Broker 拉取的消息。减少了 Broker 的负担减少了 Consumer 接收无用的消息多了一层 Filtersrv 网络开销Flitersrv为了减少Broker的负担,且减少Consumer接收无用消息而生。Flitersrv作为中间层,Consumer订阅时传过滤类给Broker,Broker将过滤类传给Flitersrv,Flitersrv处理并实例化过滤类。

王飞的博客 1007

rocketmq中的broker设计与实现

1、broker启动 启动逻辑在BrokerStartup和BrokerController中,其时序图为

多看多听多总结 2293

RocketMQ源码解读系列——2、filtersrv源码

1. Broker 所在的机器会启劢多个 FilterServer 过滤进程 2. Consumer 启动之后后,会向 FilterServer 上传一个过滤的 Java 类 3. Consumer 从 FilterServer 拉消息,FilterServer 将请求转发给 Broker,FilterServer 从 Broker 收到消息后,按照 Consumer 上传的 Java 过滤程序做...

sinat_28771747的博客 580

消息中间件 RocketMQ源码解析:Filtersrv

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33994444的博客 236

RocketMQ源码解析:Filtersrv

weixin_33889665的博客 217
上一篇: 完整的一次 HTTP 请求响应过程(一)
下一篇: 完整的一次 HTTP 请求响应过程(二)
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值