kafka学习笔记五

2019独角兽企业重金招聘Python工程师标准>>>

kafka学习笔记五

High Level Consumer-无关offset的处理

　　很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个Consumer消费（单播）或被所有Consumer消费（广播）。因此，Kafka Hight Level Consumer提供了一个从Kafka消费数据的高层抽象，从而屏蔽掉其中的细节并提供丰富的语义。

Low Level Consumer

　　使用Low Level Consumer (Simple Consumer)的主要原因是，用户希望比Consumer Group更好的控制数据的消费。比如：

• 同一条消息读多次
• 只读取某个Topic的部分Partition
• 管理事务，从而确保每条消息被处理一次，且仅被处理一次

　　与Consumer Group相比，Low Level Consumer要求用户做大量的额外工作。

• 必须在应用程序中跟踪offset，从而确定下一条应该消费哪条消息
• 应用程序需要通过程序获知每个Partition的Leader是谁
• 必须处理Leader的变化

　　使用Low Level Consumer的一般流程如下

• 查找到一个“活着”的Broker，并且找出每个Partition的Leader
• 找出每个Partition的Follower
• 定义好请求，该请求应该能描述应用程序需要哪些数据
• Fetch数据
• 识别Leader的变化，并对之作出必要的响应

后续继续学习6，7，8三节

转载于:https://my.oschina.net/xd03122049/blog/1921088