linux上安装kafka集群

在 192.168.191.5  hadoop5上
注先  vim /etc/hosts
192.168.191.5  hadoop5
192.168.191.9  hadoop9
192.168.191.11  hadoop11

配置环境变量：
     （1）vi /etc/profile
export ZOOKEEPER_HOME=/usr/local/software/zookeeper-3.4.10
export PATH=$PATH:${JAVA_HOME}/bin:$ZOOKEEPER_HOME/bin
      （2）source /etc/profile

1.cd  /usr/local/software/  上传文件 zookeeper-3.4.10.tar.gz
2. tar -zxvf zookeeper-3.4.10.tar.gz
3. cd /usr/local/software/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg
      mv zoo_sample.cfg zoo.cfg   
4.vim zoo.cfg 
  
   （1）修改数据存储路径配置 dataDir=/usr/local/software/zookeeper-3.4.10/zkData
    (2)增加如下配置   
    server.1=hadoop5:2888:3888
    server.2=hadoop9:2888:3888
    server.3=hadoop11:2888:3888
5.在cd /usr/local/software/zookeeper-3.4.10/这个目录上创建zkData文件夹
    mkdir zkData
    
    
6.    在cd /usr/local/software/zookeeper-3.4.10/zkData 
      （1）touch myid    （注意这里的创建路径，导致zookeeper起不来）
      添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码
      （2） vi myid        (hadoop9、hadoop11要修改为2,3) 
      在文件中添加与server对应的编号：
        1
       (3)echo 1 > myid
         cat myid

   
    
7．操作Zookeeper
（1）启动Zookeeper  ./zkServer.sh start
（2）  查看进程是否启动  jps    
（3）查看状态：     ./zkServer.sh status
（4）停止Zookeeper   ./zkServer.sh stop
    

8. 分布式安装部署
克隆hadoop9和hadoop11两个节点 修改ip和hostname
    6.1补充：虚拟机克隆
        1）修改克隆后虚拟机的ip
           vim /etc/udev/rules.d/70-persistent-net.rules
           进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址
           
        2) 修改IP地址
           vim /etc/sysconfig/network-scripts/ifcfg-eth0 
           （1）把复制的物理ip地址更新
                HWADDR=00:0C:2x:6x:0x:xx   #MAC地址   00:0c:29:66:89:6e
           （2）修改成你想要的ip
                IPADDR=192.168.191.11     #IP地址    

        3)修改主机名称
            vi /etc/sysconfig/network  
             hadoop11  

        注：linux上删除多行 :set nu    

         service network restart

在hadoop5、hadoop9 和 hadoop11 三个节点上部署Zookeeper。

9.并分别在 hadoop9、hadoop11 上修改myid文件中内容为2、3

在 hadoop9上
10.   
   (1)cd /usr/local/software/kafka_2.10-0.10.2.1/config
   (2)vim server.properties
     broker.id=1
     # 可以不添加 默认就是这个值port=9092 #端口号 
     host.name=192.168.191.9 #服务器IP地址，修改为自己的服务器IP
     log.dirs=/usr/local/logs/kafka #日志存放路径，上面创建的目录
     zookeeper.connect=hadoop5:2181,hadoop9:2181,hadoop11:2181 #zookeeper地址和端口，单机配置部署，localhost:2181
     
     
11.在  hadoop11上
     (1)cd /usr/local/software/kafka_2.10-0.10.2.1/config
   (2)vim server.properties
     broker.id=2
     # 可以不添加 默认就是这个值port=9092 #端口号 
     host.name=192.168.191.11 #服务器IP地址，修改为自己的服务器IP
     log.dirs=/usr/local/logs/kafka #日志存放路径，上面创建的目录
     zookeeper.connect=hadoop5:2181,hadoop9:2181,hadoop11:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

启动zookeeper，在启动kafka
     5、Kafka操作。
                       （1）、启动kafka命令：
                                ./kafkastart.sh
                       （2）、停止kafka命令：
                                ./kafkastop.sh
                       （3）、创建Topic：(创建一个名为test的topic，只有一个副本，一个分区。)
                                #./kafka-topics.sh --create --zookeeper hadoop5:2181 --replication-factor 1 --partitions 1 --topic test
                       （4）、列出所有Topic：
                                #./kafka-topics.sh -list -zookeeper hadoop5:2181                  
                       （5）、启动Producer并发送消息：
                                #./kafka-console-producer.sh --broker-list hadoop5:9092 --topic test
                               （输入相应的消息，eg:hello kafka;按Ctrl+C结束）
                        （6）、启动Consumer并接收消息：
                                #./kafka-console-consumer.sh --zookeeper hadoop5:2181 --topic test --from-beginning 

 

注意：报错信息

       kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties;

    cd /usr/local/logs/kafka

vim  meta.properties    broker.id 的值要修改

#启动kafka

     /usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &

案例测试：

        https://codenotfound.com/spring-kafka-consumer-producer-example.html