weixin_43046724的博客

阿里云相关文档：开源对比：开源对比 - 产品简介| 阿里云使用限制：使用限制 - 产品简介| 阿里云存储引擎对比 ：存储引擎对比 - 产品简介| 阿里云腾讯云相关文档：开源对比：消息队列 CKafka 开源对比 - 产品简介 - 文档中心 - 腾讯云使用限制：消息队列 CKafka 使用限制 - 产品简介 - 文档中心 - 腾讯云 类型 数据过期时间 支持版本 是否暴露zk

自建Kafka集群迁移上云阿里云：Alibaba Cloud Help Center - Cloud Definition and Explanation of Cloud Based Services - Alibaba Cloud腾讯云：消息队列 CKafka 方案1：单写双消费迁移 - 消息平台操作指南 - 文档中心 - 腾讯云自建Kafka集群迁移迁移前准备1、kafka集群规划，主要考虑磁盘容量以及扩展性，如果数据量比较大，可以考虑部署5个broker节点，每个节点挂载4块数据

简介Kafka是一个分布式、支持分区的（partition）、多副本的（replication）的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。消息的传输过程中保存消息的容器叫做消息队列。把数据放到消息队列叫做生产者，从消息队列里边取数据叫做消费者.特性1）高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, 消费组对partition进行消费操作；2）可扩展性：kafka集群支持热扩展；3）持久性、..

github地址：https://github.com/yahoo/CMAK.git一、编译打包1、下载代码（确定分支版本）git clone -b 2.0.0.2https://github.com/yahoo/CMAK.git2、修改maven仓库源代码根目录project/plugins.sbt文件// The Typesafe repositoryresolvers += "aliyun" at "http://maven.aliyun.com/nexus/content.

在Kafka Version为0.11.0.0之后，Consumer的Offset信息不再默认保存在Zookeeper上，而是选择用Topic的形式保存下来。在命令行中可以使用kafka-consumer-groups的脚本实现Offset的相关操作。更新Offset的三个维度：Topic的作用域 重置策略 执行方案Topic的作用域--all-topics：为consumer group下所有topic的所有分区调整位移） --topic t1 --topic t2：为指定的若干个to

一、创建/删除/重建topic1、创建：./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 10 --topicTOPIC_NAME2、删除：./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topicTOPIC_NAME3、查看状态和分区负载详情：./bin/kafka-topics.s..

1、确定需要执行重分区的topic，可以指定多个，建议每次重分区一个；（重分区之前检查下topic大小） # vi topics-to-move.json { "topics": [{ "topic": "test-topic" }], "version": 1} 2、生成分区方案Current partition replica assignment 当前分区分布（用于回滚）Proposed partition reassignmen.