forrest_ou的博客

kafka使用confluent-3.1.2kafka新建topic , kafka决定副本分布bin/kafka-topics --create --topic test001 --zookeeper localhost:2181 --replication-factor 3 --partition 3//新建分区3，副本3的主题。//kafka决定副本分布的方式给第一个分区随机选择

*** 使用的方法（offsetsForTimes()）：Properties props = new Properties();KafkaConsumer consumer = new KafkaConsumer<>(props);java.util.Map partitionTimestampOffsets = consumer.offsetsForTimes(java.util.

概述Mirroring data between clusters (Source Cluster  --->  Destination Cluster)就是通过使用kafka自带的mirror-maker工具把一个集群里的主题cp到另外一个kafka集群中，使用场景：1、数据需要迁移到新集群； 2、多个集群之间的数据需要同步…………使用nohup bin/kafka-mi

问题现象1、监控观察一个主题数据量的变化，数据量会持续增加然后删除减少，然后再持续增加然后再删除减少，一直循环2、观察日志：rolled......  scheduling......  deleting.......  也是这样对一个主题一直循环原因解释首先成功写入kafka了，只是写入后很快就被删除了。这里有几个原因。1、kafka配置了lo

kafka版本：confluent-3.1.2权限：SASLmirrormaker基础：    点击打开链接一、权限问题如果集群配置了权限，mirrormaker的成功运行需要有两个权限。1、被mirror的源集群的消费权限2、mirror目的地的目标集群的生产权限这里正好对应了mirrormaker工作的整个过程，先消费过来，再生产进去。

扩容：增加机器，例如原来三台服务器的kafka集群增加两台机器成为有五台机器的kafka集群，跟搭建差不多分区重新分配：在原来机器上的主题分区不会自动均衡到新的机器，需要使用分区重新分配工具来均衡均衡重新分配官方文档地址：点击打开链接翻译官方文档中文地址：点击打开链接上面两个链接中的文档描述的很详细。这里记录一下关键步骤，更主要是总结实际操作过来之后的问题和新的知识

kafka使用confluent-3.1.2      删除的主题名：test1、删除主题在server.properties中增加设置，默认未开启delete.topic.enable=true删除主题命令/bin/kafka-topics --delete --topic test --zookeeper localhost:21812、删除主题数据如果想保留主题，只删