qq_39783774的博客

kafka默认只保存7天的数据 1.在新节点上搭建kafka服务 机器一原本有节点broker.id分别为1,2 在机器而上新增节点broker.id为3,4 2.启动kafka服务 3.查看需要移动的topics 查看所有主题 kafka-topics.sh --list --zookeeper 59.110.153.152:2181 将topic写入新文件topics-to-move.json中，格式如下 {“topics”: [ {“topic”: “fortest1”}, {“topic”: “f

1.配置 flume(flume-kafka.conf) #define a1.sources = r1 a1.sinks = k1 a1.sinks = k1 a1.channels = c1 source a1.sources.r1.type = exec a1.sources.r1.command = tail -F -c +0 /opt/module/data/flume.log a1.s...

1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端； 2）Consumer ：消息消费者，向 kafka broker 取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者...

1. 查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper localhost:2181 --list 2. 创建 topic bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 3 --partitions 1 -topic first 选项说...

1. 解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /data/ 2. 修改解压后的文件名称 mv kafka_2.11-0.11.0.0/ kafka 3. 在/data/kafka 目录下创建 logs 文件夹 mkdir logs 4. 修改配置文件 cd config/ vi server.properties 输入以下内容： ...