kafka(二)---kafka的安装部署

一.下载

https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz

二.安装过程

安装过程非常简单，只需要解压就行，因为这个是编译好之后的可执行程序

tar -zxvf kafka_2.11-2.0.0.tgz

三.配置zookeeper

因为kafka依赖于zookeeper来做master选举一起其他数据的维护，所以需要先启动zookeeper节点
kafka内置了zookeeper的服务，所以在bin目录下提供了这些脚本

zookeeper-server-start.sh 
zookeeper-server-stop.sh

在config目录下，存在一些配置文件

zookeeper.properties 
server.properties

所以我们可以通过下面的脚本来启动zk服务，当然，也可以自己搭建zk的集群来实现

sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties

四.启动和停止kafka

修改server.properties, 增加zookeeper的配置

zookeeper.connect=localhost:2181

启动kafka

sh kafka-server-start.sh -damoen config/server.properties

停止kafka

sh kafka-server-stop.sh -daemon config/server.properties

五.kafka的基本操作

创建topic

sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 -- partitions 1 --topic test

Replication-factor 表示该topic需要在不同的broker中保存几份，这里设置成1，表示在两个broker中
保存两份,Partitions 分区数

查看topic

sh kafka-topics.sh --list --zookeeper localhost:2181

查看topic属性

sh kafka-topics.sh --describe --zookeeper localhost:2181 --topic first_topic

消费消息

sh kafka-console-consumer.sh --bootstrap-server 192.168.13.106:9092 --topic test --from-beginning

发送消息

sh kafka-console-producer.sh --broker-list 192.168.244.128:9092 --topic first_topic

六.集群环境安装

环境准备

1. 准备三台虚拟机
2. 分别把kafka的安装包部署在三台机器上

修改配置

以下配置修改均为server.properties

1. 分别修改三台机器的server.properties配置，同一个集群中的每个机器的id必须唯一

broker.id=0 
broker.id=1
broker.id=2

2. 修改zookeeper的连接配置

zookeeper.connect=192.168.13.106:2181

3. 修改listeners配置

如果配置了listeners，那么消息生产者和消费者会使用listeners的配置来进行消息的收发，否则，
会使用localhost,PLAINTEXT表示协议，默认是明文，可以选择其他加密协议

listeners=PLAINTEXT://192.168.13.102:9092

4. 分别启动三台服务器

sh kafka-server-start.sh -daemon ../config/server.properties