1.kafka基本概念和集群安装

1.安装 

http://kafka.apache.org/downloads

版本选择：

      kafka-0.10.0.1-src.tgz (asc, md5) 或

• Scala 2.11  - kafka_2.11-0.10.0.1.tgz (asc, md5)

  安装目录  /opt/kafka_2.11-0.10.0.1

配置环境变量：

export KAFKA_HOME=/opt/kafka_2.11-0.10.0.1
export PATH=$PATH:$KAFKA_HOME/bin

2.基本概念

kafka 每一台机器是一个broker，每一个broker 上有topic ，每一个topic 由 若干个partation 分区组成。

分区可以有副本，相当于一个文件夹目录，都均匀分布在kafka集群上

broker 和topic 会注册到zookeeper 上。

 

3.集群安装

    a.安装zookeeper

     zookeeper-3.4.9.tar.gz 下载地址：https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/ 

 #  cd   /opt/zookeeper-3.4.9/bin

   # mv zoo_sample.cfg zoo.cfg 

   # ./zkServer.sh start ../conf/zoo.cfg

   # jps  

   17845 QuorumPeerMain

    b.修改 kafka配置文件

       #/opt/kafka_2.11-0.10.0.1/config/server.properties

       1.修改broker_id

        broker.id=215(另外两台216,217)                                //唯一的broker_id

        2.log.dirs=/home/kafka_log      //内存数据写满，写到磁盘的位置

        3.zookeeper.connect=10.10.100.215:2181     //这个地址要写 ，不然springboot 客户端无法链接

        4.修改监听地址 listeners=PLAINTEXT://10.10.100.217:9092(本机IP地址)不然启动消费者会报错

       (Fetching topic metadata with correlation id 0 for topics [Set(test)])

        

    c.启动kafka(每一台都要启动)

        #cd /opt/kafka_2.11-0.10.0.1

        # kafka-server-start.sh -daemon config/server.properties

        #jps  可以看到Kafka

    d.验证kafka启动是否成功

     #cd   /opt/kafka_2.11-0.10.0.1/logs

     #tail -200f server.log

     

      e.查看是否有没有注册到zk里面

      启动

    

   已经注册进来了

f.集群脚本启动，关闭