mapeng765441650的博客

topic分区数据转移往往在生产系统中，涉及到kafka broker的扩容和缩容操作（减少broker）针对缩容操作，这里主要用到的就是partition的重分区实施方案1.准备 topic列表 （需要移除的topic list）eg: topics_to_move.json{"topics": [{"topic":"dw-topic1"},{"topic":"dw-topic2"}], "version": 1}kafka bin目录下，执行sh kafka-reassign-

目录：kafka-exporter 安装1.kafka-exporter安装 #wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz # cd kafka_exporter-1.2.0.linux-amd64.

目录：zookeeper集群搭建 kafka集群搭建 踩坑记录1. zookeeper集群搭建准备三台服务器，我们暂且命名为server1; server2;server3 在server1集群上，新建目录/data/zookeeper； 网上下载apache-zookeeper-3.5.7-bin.tar.gz 安装包 (这里有个点要注意，在走zookeeper3.5.5 及以上版本时，下载安装包需要下载带有-bin的安装包) 解压zookeeper安装包，目录apache-zookee

1.介绍：消息系统：kafka作为一款消息中间件系统，具备有系统解耦，冗余存储，流量控制，缓冲，异步通讯，扩展性及可恢复性等功能；可以保障分区消息的顺序性及回溯消费功能 存储系统：kafka消息持久化到磁盘，较其他内存存储系统而言，有效的降低了数据丢失的风险；kafka提供了多副本机制 流数据处理平台：kafka可作为流式计算框架的可靠数据来源2. 关键词Producer： Con...