1.Kafka单机点扩容集群操作
1.把单机环境上的部署包放到其他两台服务器上。
配置文件的需要修改的内容分别如下:
config/server.properties:
config/server.properties:
分别启动第二个和第三个节点,集群就创建好了
bin/kafka-server-start.sh config/server-1.properties &
2.验证节点是否扩容成功:
找到zk的安装目录,用客户端连接:
bin/zkCli.sh -server ip地址:端口号
输入命令:ls /brokers/ids
3.新增副本
使用官方自带的kafka-reassign-partitions.sh脚本实现,该脚本用来移动分区的副本位置。除了可以实现增加副本,还可以实现将分区的副本移动到指定机器上。
1.在第一个kafka目录(与bin同级)里面创建文件:increase-replication-factor.json
{
“version”:1,
“partitions”:[{“topic”:“test6”,“partition”:0,“replicas”:[0,1,2]}]
}
topic 为 topic 名称
partition 为分区号
replicas 为 broker id 的数组
2.执行命令:
kafka-reassign-partitions --bootstrap-server kafka01:9092 --reassignment-json-file increase-replication-factor.json --execute
输出内容如下,则表示运行成功:
3.查看执行进度(如果 topic 数据量小很快就会完成添加副本的操作,如果数据量过大那么会在后台执行一段时间):
kafka-reassign-partitions --bootstrap-server kafka01:9092 --reassignment-json-file increase-replication-factor.json --verify
输出内容如下,则表示运行成功:
4.验证是否成功,可以查看topic详情
kafka-topics --describe --bootstrap-server kafka01:9092 --topic test6