
rocketmq connet/eventbridge原理
文章平均质量分 95
源码分析
改进:
控制台,拖拽方式构建事件通道
可视化worker集群状态和启停
分布式重构(based zookeeper),实现worker集群管理
配置服务,集群成员变更,分片
资源管理器, 对接k8s,实现资源伸缩
中间件XL
这个作者很懒,什么都没留下…
展开
-
rocketmq原理源码分析之dledger控制器模式-原理分析
RocketMQ 4.5 版本之前,RocketMQ 的broker是 Master/Slave部署架构,一组 broker 有一个 Master ,有0到若干Slave,Slave复制Master消息存储,随时替代下线的Master。Master/Slave部署架构提供一定的高可用性,但这样的部署架构,主节点下线需要手动进行重启或者手动切换,需要一个新的多副本架构,支持自动切换,解决方案基本可以分为两种:rocketmq选择 raft,目前有 dledger和jraft两个实现,本文分析dledger控制原创 2025-01-26 23:42:51 · 945 阅读 · 0 评论 -
事件引擎/流式ETL EventBridge v1.0实现解释与API说明
事件引擎作为事件流处理,集成中心,事件中心,流ETL的基础设施,建基于rocketmq的开源rocketmq eventbridge是一个很好的选择,经过分析后,rocketmq eventbridge基本满足要求,但域模型(domain)有比较大的改进空间,本次设计主要重构事件通道领域模型,及其持久层前篇《事件引擎eventbridge1.0 设计说明书.docx》介绍设计,本文介绍设计的落地和代码实现细节,以及api说明,本版本与原版本最大区别是重构了领域模型和持久实现,重新设计原创 2023-07-17 14:34:59 · 336 阅读 · 0 评论 -
事件引擎EventBridge v1.0设计
引入事件引擎作为事件流处理,集成中心,事件中心,流ETL的基础设施,建基于rocketmq的开源rocketmq eventbridge是一个很好的选择,经过分析后,rocketmq eventbridge基本满足要求,但域模型(domain)有比较大的改进空间,本次设计主要重构事件通道领域模型,及其持久层,本文主要介绍逻辑通道域模型设计原创 2023-05-26 18:09:49 · 325 阅读 · 0 评论 -
rocketmqConnect/EventBridge原理源码分析 II-worker
是RocketMQ数据集成重要组件,可将各种系统中的数据通过高效,可靠,流的方式,流入流出到RocketMQ,它是独立于RocketMQ的一个单独的分布式,可扩展,可容错系统,它具备低延时,高靠性,高性能,低代码,扩展性强等特点,可以实现各种异构数据系统的连接,构建数据管道,ETLCDC,数据湖等能力。架起高可伸缩,高吞吐的事件通道。E。原创 2023-05-21 15:52:01 · 207 阅读 · 0 评论 -
rocketmq Connect/EventBridge原理源码分析I-架构,服务和组件
RocketMQ Connect是RocketMQ数据集成重要组件,可将各种系统中的数据通过高效,可靠,流的方式,流入流出到 RocketMQ,它是独立于 RocketMQ 的一个单独的分布式,可扩展,可容错系统,它具备低延时,高靠性,高性能,低代码,扩展性强等特点,可以实现各种异构数据系统的连接,构建数据管道,ETL,CDC,数据湖等能力。RocketMQ EventBridge架起高可伸缩,高吞吐的事件通道。原创 2023-05-17 23:53:57 · 521 阅读 · 0 评论