从 Kafka 到 Pulsar:数据流演进之路

本文深入探讨了消息队列在数据流中的作用,重点介绍了Kafka的架构、高可用机制、未来演进趋势以及运维调优经验。同时,文章也提及了Pulsar的架构,尤其是Pulsar Proxy的角色和功能,为读者展示了从Kafka到Pulsar的数据流演进路径。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、 消息队列概述

1.1 消息队列的应用场景

1.1.1 MQ 消息通道

优点:异步解耦、高可用、削峰填谷、消息订阅

1.1.2 EventBridge 事件总线

事件源:将云服务、自定义应用、SaaS 应用等应用程序产生的事件消息发布到事件集

事件集:存储接收到的事件消息,并根据事件规则将事件消息路由到事件目标

事件目标:消费事件消息

1.1.3 Data Platform 流数据平台

  1. 提供批/流数据处理能力
  2. 各类组件提供各类 Connect
  3. 提供 Streaming/Function 能力
  4. 根据数据 schema 灵活的进行数据预处理

1.2 主流消息队列的相关介绍

2、 Kafka 详解

2.1 Kafka 架构介绍

2.1.1 ZooKeeper

Kafka 存储数据:

  1. Broker Meta 信息(临时节点)
  2. Controller 信息(临时节点)
  3. Topic 信息(持久节点)
  4. Config 信息(持久节点)
  • 选举机制

    • Paxos 机制
  • 提供一致性

    • 写入(强一致性)
    • 读取(会话一致性)
  • 提供可用性

    • 一半以上节点存活即可读写
  • 提供功能

    • watch 机制
    • 持久/临时节点能力

2.1.2 Broker

  • Broker 角色

    • 若干个 Broker 节点组成 Kafka 集群
    • Broker 作为消息的接收模块,使用 React 网络模型进行消息数据的接收
    • Broker 作为消息的持久化模块,进行消息的副本复制以及持久化
    • Broker 作为高可用模块,通过副本间的Failover
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值