Kafka的安装及基础配置

Kafka的安装及基础配置

1、上传解压缩kafka

tar xzvf ftp/kafka_2.10-0.10.1.0.tgz -C /usr/local/

2、方便管理，更名文件夹

mv /usr/local/kafka_2.10-0.10.1.0/ /usr/local/kafka

 

3、Kafka开发包本身支持zookeeper命令，考虑到数据保存的方面，建两个文件夹，

mkdir -p  /usr/data/kafka/{zookeeper,kafka}

 

4、编辑zookeeper.properties配置文件

vim /usr/local/kafka/config/zookeeper.properties

dataDir=/usr/data/kafka/zookeeper

 

5、进行kafka配置文件的定义

vim /usr/local/kafka/config/server.properties

配置数据保存目录：log.dirs=/usr/data/kafka/kafka

设置服务端口：port=9095

设置外网访问IP地址(端口号相同):advertised.listeners=PLAINTEXT://192.168.25.20:9095

 

Kafka默认的端口：9092，实际使用之中，往往分配其他端口。因为9092牵扯到加密问题，本次设置为9095

 

6、启动kafka服务，kafka依赖于zookeeper

启动kafka内置zookeeper服务

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties

 

启动kafka服务进程

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

 

[root@zk-server ~]# jps

13679 QuorumPeerMain

13916 Kafka

14269 Jps

 

7、kafka启动之后会自动在zookeeper中注册，如果使用的是kafka的内置zookeeper，则这些数据查看比较麻烦（kafka提供了自己的zookeeper命令，不好用）

/usr/local/kafka/bin/zookeeper-shell.sh 192.168.25.20 ls /

 

8、如果用户要想进行kafka操作，要创建若干主题

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mldn-topic

 

9、查看所有的主题信息

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

 

10、后台启动kafk中的zookeeper服务

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties > /usr/data/zoo.log 2>&1 &

 

11、后台启动kafka服务

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /usr/data/kafka.log 2>&1 &