
kafka
文章平均质量分 89
bigdatar
这个作者很懒,什么都没留下…
展开
-
kafka0.8 high-level consumer api使用
为什么使用high level api 设计high level消费者https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example为什么使用high level api有时有些逻辑从kafka读取消息时不关心怎么处理消息的offset,只是想读数据。所以high level消费者抽象了大部分的消费细节。首先要明确的是原创 2017-10-24 23:29:26 · 1142 阅读 · 0 评论 -
kafka 0.8 simple api使用
使用simple consumer 为什么使用simple consumer使用simple consumer为什么使用simple consumer使用simpleconsumer的主要原因是用户想要得到比使用消费者组更好的分区消费的控制,例如用户想要: 多次读取一个消息 在进程中只读取一个topic的某些partition 通过事务管理保证一条消息仅被处理一次 使用simpleconsumer原创 2017-11-05 07:11:53 · 686 阅读 · 0 评论 -
kafka0.8消息处理逻辑
1- kafka消息处理入口 1-1 MetadataKey 1-2 OffsetsKey 1-3 FetchKey 1-4 UpdateMetadataKey 1-5 LeaderAndIsrKey1- kafka消息处理入口KafkaApis/** * Top-level method that handles all requests and multiplexes to the rig原创 2017-10-22 19:26:50 · 788 阅读 · 0 评论 -
kafka0.9
offset和consumer position 消费者组和topic订阅 例子 手动控制offset提交 在kafka外存储offset 控制Consumers Position Consumption Flow Control Multi-threaded Processing http://kafka.apache.org/090/javadoc/index.html?org/apache/k原创 2017-11-06 18:18:04 · 871 阅读 · 0 评论