青鸟飞鱼

生产者分区策略1.分区的原因（1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；（2）可以提高并发，因为可以以Partition为单位读写了2.分区的原则（1） 指明 partition 的情况下，直接将指明的值直接作为 partiton 值；（2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行

《Kafka重要知识点之消费组概念》讲到了kafka的消费组相关的概念，消费组有多个消费者，消费组在消费一个Topic的时候，kafka为了保证消息消费不重不漏，kafka将每个partition唯一性地分配给了消费者。但是如果某个消费组在消费的途中有消费者宕机或者有新的消费者加入的时候那么partition分配就是不公平的，可能导致某些消费者负载特别重，某些消费者又没有负载的情况。Kafka有一种专门的机制处理这种情况，这种机制称为Rebalance机制。当kafka遇到如下四种情况的时候，kafka会

一、zookepper Leader Election 主要有两种方法：(1)抢注Leader节点-----非公平模式(2)先到先得，后者监听前者-----公平模式(1)抢注Leader节点-----非公平模式1.创建Leader父节点，如/chroot,并将其设置为persist持久节点；2.各客户端通过在/chroot下创建Leader节点，例如/chroot/Leader...

1.基本介绍Apache的Kafka是一个分布式流平台(a distributed streaming platform)。一个流处理平台应该具有三个关键能力：它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。 它可以让你持久化收到的记录流，从而具有容错能力。 它可以让你处理收到的记录流。Kafka应用场景：建立实时流数据管道从而能够可靠地在系统或应用...

Kafka简介Kafka是一种分布式流平台(a distributed streaming platform)，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区，及分布式消费，同...

摘要　　Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failove...

Zookeeper是一个高性能分布式应用协调服务Zookeeper工作方式1. Zookeeper集群包含1个Leader，多个Follower。 2. 所有的Follower都可提供读服务 3. 所有的写操作都会被forward到Leader 4. Client与Server通过NIO通信。 5. 全局串行化所有的写操作 6. 保证同一客户端的指令被FI...

Pull vs. PushProducer Producer通过主动Push的方式将消息发布到Broker Consumer Consumer通过Pull从Broker消费数据 Push 优势：延时低 劣势：可能造成Consumer来不及处理消息；网络拥塞 Pull 优势：Consumer按实际处理能力获取相应量的数据；Broker实现简单 劣势：如果处理不好，实...