大数据集群搭建（11）——Kafka的安装

Kafka的安装

1.创建kafka目录，上传并解压安装包

cd /usr

mkdir kafka

cd kafka

rz（选中上传准备好的 kafka安装包）

tar –zxvf xxxxxxxx

2.修改 config下配置文件

2.1.修改server.properties

#broker的全局唯一编号，不能重复

broker.id=01

#broker需要使用zookeeper保存meta数据

zookeeper.connect=master:2181,slaver1:2181,slaver2:2181

#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除

delete.topic.enable=true

#在配置文件中新加

host.name=master

3.分发到其他节点下

scp -r /usr/kafka/ root@slaver1:/usr/kafka/

scp -r /usr/kafka/ root@slaver2:/usr/kafka/

4.更改其他节点上的broker.id和host.name

slaver1 ： broker.id=02           

                  host.name=slaver1

slaver2 ： broker.id=03           

                  host.name=slaver2

5.启动

5.1.启动Zookeeper(3台)

[root@master bin]# ./zkServer.sh start

5.2.再启动kafka(3台)

./bin/kafka-server-start.sh -daemon config/server.properties &

5.3.在主节点创建topic

./bin/kafka-topics.sh --create --zookeeper master:2181,slaver1:2181,slaver2:2181 --replication-factor 3 --partitions 3 --topic 主题名

5.4.列出已创建的topic列表

./bin/kafka-topics.sh --list --zookeeper localhost:2181

5.5.在主节点启动控制台生产者

./bin/kafka-console-producer.sh --broker-list master:9092, slaver1:9092, slaver2:9092 --topic 主题名

5.6.在其他节点启动控制台消费者

./bin/kafka-console-consumer.sh --bootstrap-server master:9092, slaver1:9092, slaver2:9092 --from-beginning --topic 主题名

6.测试 从生产者输入消息，在消费者查看消息

7.删除主题

./bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic 主题名