
Kafka实战
文章平均质量分 87
讲解Kafka相关重点知识,实战经验
sf_www
深耕大数据领域,可相互交流
展开
-
kafka运维常用命令
1. 创建topic./kafka-topics.sh --create --partitions 1 --replication-factor 2 --topic test --zookeeper zk_host:port/chroot2. 删除topic./kafka-topics.sh --delete --topic test --zookeeper zk_host:port/chroot3. 查看topic描述信息./kafka-topics.sh --describe原创 2022-04-28 13:53:08 · 2681 阅读 · 0 评论 -
kafka 日志清理机制详解
说到kafka的日志清理策略,就会涉及到配置项cleanup.policy,在broker server端配置项是log.cleanup.policy,在topic级别则是cleanup.policy。所以可以是全局设置,或者单独对某个topic设置,一般不会修改默认值(即delete),根据业务需求自己单独可对topic设置其他policy。log.cleanup.policy的默认值是delete,可选项有delete/compact,在0.10版本后才可以同时配置delete,compact。原创 2022-04-11 17:26:12 · 9405 阅读 · 1 评论 -
kafka迁移工具
在kafka数据不均衡,或者需要下线节点迁移数据时,我们一般做的3个步骤就是:1)./kafka-reassign-partitions.sh --zookeeper xxx:2181/kafka --topics-to-move-json-file topics-to-move.json --broker-list "xxx" --generate2)./kafka-reassign-partitions.sh --zookeeper xxx:2181/kafka --reassignment-j原创 2020-10-21 10:21:21 · 644 阅读 · 0 评论