kafka 的安装及测试

1.下载

下载地址: http://kafka.apache.org/downloads

2.解压到/opt/kafka目录

3.修改server.properties

   3.1 修改broker.id,全局唯一,例如 broker.id=1

   3.2 修改log.dirs，消息超时或者缓存一定时间会存盘，这是存盘路径

   3.3 修改zookeeper配置

4. 测试启动

   master,slave1,slave2三台机器都要启动

  安装目录下

./bin/kafka-server-start.sh config/server.properties

如果启动正常，则以后台方式启动

nohup ./bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

 以jps命令查看进程是否启动

5.测试发送

  5.1 新建topic

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 3 --replication-factor 2

  partitions 为分区数，一个分区只会有一个消费者，replication-factor为备份数

 使用下面查看创建的 topic: 

bin/kafka-topics.sh --zookeeper localhost:2181 --list

启动一个 producer

以 sync 模式启动一个 producer：

$ bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --sync --topic zerg.hydra

然后，输入以下内容：

Hello, world!
Rock: Nerf Paper. Scissors is fine.

启动一个 consumer

在另一个终端运行：

$ bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic zerg.hydra --from-beginning

注意，生产环境通常不会添加 --from-beginning 参数。

观察输出，你会看到下面内容：

Hello, world!
Rock: Nerf Paper. Scissors is fine.

把 consumer 停掉再启动，你还会看到相同的输出结果。

参考链接:

https://www.cnblogs.com/valor-xh/p/6306250.html

https://www.cnblogs.com/zhaojiankai/p/7257617.html