a13568hki的博客

【代码】docker容器部署zookeeper+kafka集群。

1、测试生产者的吞吐量 [root@Hexindai-C11-71 ~]# kafka-producer-perf-test.sh --num-records 10000000 --record-size 1000 --topic test2 --throughput 100000 --producer-props bootstrap.servers=172.20.11.71:9092,172.20.11.72:9092,172.20.11.73:9092 相关参数说明： —topic 指定Kafka

注意: 在没有配置的情况下，group.id是自动生成的，如果想要人为定义，如下 cd /home/kafka/software/kafka_2.10-0.9.0.1/config cp consumer.properties consumer1.properties 修改group.id内容为自己指定的group.id，如下 vim consumer1.properties 启动消费者时指定group.id的配置文件 ./bin/kafka-console-consumer.sh --zookeep

1.扩容 在新的物理机上安装kafka程序，修改config/server.properties文件里的broker.id必须在集群中唯一，修改其他必要的配置项，其中zookeeper.connect配置项，写上kafka集群现在使用的zookeeper集群的地址。 然后启动kafka就可以加入到集群中了。 但是新加入的机器只能对新产生的topic起作用，对已有的topic在没有做处理前，是不会承担任何任务的，所以不会分担集群的压力。 2.重新分区Partition 假设有一个名为test的topic，只有

创建topic kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions 3 --topic mydemo5 列出topic kafka-topics --list --zookeeper master:2181/kafka2 描述topic kafka-topics --describe --zookeeper master:2181/kafka2 --topic mydemo5

增加新服务到kafka集群是很容易的，只要为新服务分配一个独一无二的Broker ID并启动即可。但是，新的服务不会自动分配到任何数据，需要把分区数据迁移给它们，在此期间它们一直不工作，直到新的topic创建，所以，通常向集群添加机器时，你需要将一些现有的数据迁移到这些机器上。 迁移数据的过程是手动启动的，但是执行过程是完全自动化的。在kafka后台内部中，kafka将添加新的服务器，并作为正在迁移分区的follower，来完全复制该分区现有的数据。当新服务器完全复制该分区的内容并加入同步副本，成为现有副本

迁移kafka 准备好初始环境，raid测试写入，读取 停止有问题的kafka ss -anpt|grep 6667 kill -9 进程号 scp /opt/kafka 迁移主机ip:/opt 授权属主属组（kafka） scp -r /opt/kafka_2.11-1.1.1/ 10.5.64.62:/opt/ ssh 192.18.4.62 cd /opt ln -s kafka_2.11-1.1.1/ kafka chown -R kafka.kafka kafka chown -R kafka.

简单介绍： 因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeerper集群，建立分布式状态管理。开始准备环境，搭建集群： zookeeper是基于Java环境开发的所以需要先安装Java 然后这里使用的zookeeper安装包版本为zookeeper-3.4.14，Kafka的安装包版本为kafka_2...

简单介绍： 因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeerper集群，建立分布式状态管理。开始准备环境，搭建集群： zookeeper是基于Java环境开发的所以需要先安装Java 然后这里使用的zookeeper安装包版本为zookeeper-3.4.14，Kafka的安装包版本为kafka_2...