kafka消息分区机制

分区基础概念

  由上一篇入门篇中我们知道kafka有主题（Topic）的概念，它是一种逻辑容器。而在主题之下还分为多个分区，分区是物理容器。也就是说kafka的消息组织方式实际上是三级结构：主题 - 分区 - 消息，每个主题下的每条消息只会保存在一个分区中。它的冗余是通过分区备份完成的。

为什么要分区

  分区的作用是提供负载均衡能力，实现系统的高伸缩性。分区之后，不同的分区能够放在不同的物理设备上，而数据的读写操作也都是针对分区去进行的，这样就可以使每个分区都可以独立的处理自己分区的读写请求。而且，我们还可以通过添加新的节点机器来提高整个系统的吞吐量。

此时也遇到了一个问题：发送到一个主题的消息应该存到哪一个分区？
于是出现了分区策略

分区策略

  kafka提供了多种分区策略：

• 轮询策略
• 随机策略
• Key-ordering（翻译：按消息键保序的策略）
• 其它分区策略

  轮询策略：也称 Round-robin 策略，即顺序分配
轮询策略是kafka java生产者api默认的分区策略。如果你未指定partitionner.class参数，那么你的生产者程序会按照轮询的方式在主题的所有分区间均匀地“码放”消息。
  轮询策略有非常优秀地负载均衡的表现。它从能保证消息最大限度地平均分配到所有分区上，故默认情况下它是最合理地分区策略，也是我们最常用的分区策略之一。
  随机策略：也称Randomness策略，就是随机地将消息放置到任意一个分区上。逊于轮询策略，所以如果追求数据的均匀分布，还是使用轮询策略比较好。
  Key-ordering：kafka允许为每条消息定义消息键，简称Key。它是一个有着明确业务含义的字符串。也可以用来表征消息元数据。一旦消息被定义了Key，那么你就可以保证同一个key地所有消息都进入到相同地分区里面，由于每个分区下地消息处理都是顺序地，故这个策略被称为按消息键保序策略。
  其它分区策略：比如基于地理位置地分区策略。