kafka
小胖头鱼
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka kafka-reassign-partitions.sh 命令使用
编辑文件:tmp,内容如下:{"topics":[{"topic": "__consumer_offsets"},{"topic": "kafka_topic"}], "version":1}生成reassign结果:sh kafka-reassign-partitions.sh --generate --zookeeper localhost:21原创 2016-03-21 15:34:05 · 7292 阅读 · 0 评论 -
Kafka ConsumerOffsetChecker 命令失效问题解决
问题:kafka获取某一group当前消费情况的命令如下:bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic ctr_kafka --zookeeper localhost:2181 --group mobil-canel-online正常情况,会返回group:mobil-canel-onli原创 2016-03-21 15:35:34 · 18097 阅读 · 0 评论 -
获取指定时间的offsets类:GetOffsetShell 源码导读
总览:全程有两种rpc调用,server端就是kafka集群(通过给定的参数broker list进行连接),第一种只调用一次,获取topic的元数据信息:topicsMetadata,其中包含了该topic的partition数量及每个partition所在的brokerid(当然也能够找到该partition的leader)。第二种调用多次(次数=partition数,也就是每个partiti原创 2016-03-21 15:40:49 · 3066 阅读 · 1 评论 -
kafka consumer group的删除和offset恢复
运维kafka时,会有时需要删除无效或已下线的consumer group,若设置的offset保存位置是zookeepr,则数据都在zookeeper中,可自行删除,方式就是删除zookeeper相应节点。kafka的offset若想按照生产时间进行恢复,事实严重不准,具体可参见:关于kafka中的timestamp与offset的对应关系 恢复步骤:1. 获取该consumer g原创 2016-03-23 15:58:07 · 18367 阅读 · 0 评论
分享