分布式消息队列Kafka集群安装

1. 下载KAFKA
   
   wget http://apache.fayea.com/apache-mirror/kafka/ 0.8. 1.1/kafka_2. 9.2- 0.8. 1.1.tgz
   
   
2. 解压
   
   tar -zxf kafka_2. 9.2- 0.8. 1.1.tgz
   
   
3. 0.7之前的版本这时就要安装相应的包之类的，0.8.1之后就不用了。把命令加进PATH中
   
   export KAFKA_HOME=/home/ubuntu/java/kafka_2. 9.2- 0.8. 1.1
   export PATH= $JAVA_HOME/bin: $STORM_HOME/bin: $KAFKA_HOME/bin: $ZOOKEEPER_HOME/bin: $BIN_HOME/bin: $MAVEN_HOME/bin: $PATH
   
   
   
4. SOURCE一下
   
   source /etc/profile
   
   
5. 制作启动命令，start-kafka.sh，并放于kafaka_hoem/bin下
   
   kafka-server-start.sh  $KAFKA_HOME/config/server.properties &
   
   
6. 安装ZOOKEEPER
   
   wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper- 3.4. 6/zookeeper- 3.4. 6.tar.gz
   tar -zxf  zookeeper- 3.4. 6.tar.gz
   cd zookeeper- 3.4. 6.tar.gz/conf
   cp zoo_sample.cfg zoo.cfg
   
   
7. 改zoo.cfg
   
   dataDir=$ZOOKEEPER_HOME/data
   
   # 方便查LOG
   dataLogDir=$ZOOKEEPER_HOME/logs
   
   # 控制客户的连接数，默认数为60，太少
   maxClientCnxns=300
   
   # 如果有多个ZOOKEEPER INSTANCE时
   server.1=10.120.151.223:2888:3888
   server.2=10.120.151.224:2888:3888
   
   
8. 启动ZOOKEEPER
   
   zkServer.sh start
   
   
9. 更改KAFKA的配置文件server.properties， 主要改几个地方
   
   # 这个是配置PRODUCER/CONSUMER连上来的时候使用的地址
   advertised.host.name= 54.72. 4.92
   # 设置KAFKA LOG路径
   log.dirs= $KAFKA_HOME/logs/kafka-logs
   # 设置ZOOKEEPER的连接地址
   zookeeper. connect= 54.72. 4.92: 2181
   
   
10. 启动KAFKA
    
    start-kafka.sh
    
    
11. 新建一个TOPIC
    
    # KAFKA有几个，replication-factor就填几个
    kafka-create-topics.sh --create --topic kafkatopic --replication-factor  1 --partitions  1 --zookeeper localhost: 2181
    
    
12. 发送消息至KAFKA
    
    kafka-console-producer.sh --broker-list localhost: 9092 --sync --topic kafkatopic
    
    
13. 另开一个终端，显示消息的消费
    
    kafka-console-consumer.sh --zookeeper localhost: 2181 --topic kafkatopic --from-beginning
    
    
14. 在发送消息的终端输入aaa，则可以在消费消息的终端显示 

   参考：http://www.blogjava.net/paulwong/archive/2014/05/11/413506.html

                   http://blog.youkuaiyun.com/lskyne/article/details/37563291

                  http://www.cnblogs.com/mumuxinfei/p/3859193.html