savorTheFlavor的博客

Kafka整体系统架构设计如下：一个典型的 Kafka 集群包含若干 Producer，若干 Broker，若干 Consumer，以及一个 Zookeeper 集群。Kafka 通过 Zookeeper 管理集群配置，选举 Leader，以及在 Consumer Group发生变化时进行 Rebalance。Producer 使用 push模式将消息发布到 Broker；Consumer ...

Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么，那么请看这张图：这张是官方对Shuffle过程的描述。但我可以肯定的是，单从这张图你基本不可能明白Shuffle的过程，因为它与事实相差挺多，细节也是错乱的。后面我会具体...