cactus

Kafka是分布式发布-订阅消息系统， Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka的基本架构如下图：Kafka的架构比较简单，producer、broker和consumer均可以有多个，通常需要zookeeper来管理broker和consumer。producer和consumer实现kafka注册的接口，消息从producer发送...

前言本文参考apachekafka文档提炼精要所写，英文好的同学可以直接从文末的参考文档传送至官方文档。设计思路kafka的设计开发致力于提供一个处理各种大型实时数据流的统一平台。正因如此，它需要满足一些特性：具备高吞吐量以支持高容量的事件流如实时日志可以优雅的处理大数据积压以支持离线系统的定期数据加载能够处理低延迟交互以满足传统消息应用场景支持分区、分布式和实时处理出...

生产者负载均衡生产者将消息直接发送给分区的领导者所在的broker，而不经过任何中间路由层。为了实现此功能，所有的kafka节点 可以响应关于那些服务器处于活跃状态，一个分区领导者在给定时间的具体位置等请求来支持生产值适当的指导其请求。 kafka由客户端选择发送消息的分区。这可以随机选择分区，实现一种随机负载均衡，或者也可以通过语义分区功能实现。我们放开语义分区接口来允许用户制定密钥...

消息传递语义kafka 为生产者和消费者提供了 semantic guarantee 显然，可以有很多种消息传递担保：at most one – 消息可能丢失，但是只会被发送一次 at least one – 消息不会丢失，但是可能会被重发多次exactly one – 消息只会被成功发送一次值得注意的是，问题被拆成两个： 发送消息保证 和 消费消息保证。很多系统都生成提供 ...