kafka

  kafka是一个分布式流平台，kafka说到底其实就是一个数据缓存池的作用。在数据高峰的时候不至于数据处理堵塞，而是有所缓冲。

一、部署

  kafka是依赖zookeeper，所以先要部署zookeeper。

1.1 部署zk的单机模式

  老3样，设置环境变量

1、解压zookeeper
tar -zxvf zookeeper-3.4.5-cdh5.12.0.tar.gz -C ../app
2、配置环境变量
#zookeeper
export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
3、生效环境变量
source ~/.bash_profile

  而后是配置：

1、进入配置文件夹
cd $ZK_HOME/conf/
2、考一个配置文件
cp zoo_sample.cfg zoo.cfg
3、配置zoo.cfg文件
更改 dataDir=/home/hadoop/app/tmp/zookeeper

  配置zk程序的zoo.cfg文件

1、设置dataDir
dataDir=/home/hadoop/app/tmp/zookeeper
2、设置客户端端口
clientPort=2181
3、设置zk服务器节点
server.1=hadoop000:2888:3888
第一个端口号：服务器leader的服务端口
第二个端口号：服务器选举leader的服务端口
4、在刚才的这个dataDir的目录下
这个路径下创建一个文件叫做myid
然后 在文件中输入节点编号，如1

1.2配置kafka 单机模式

  kafka主要配置的是broker节点，先是老三样。

1、解压kafka
tar -zxvf kafka_2.11-0.10.2.2.tgz -C ../app
2、配置环境变量
#kafka
export KAFKA_HOME=/home/hadoop/app/kafka/kafka
export PATH=$KAFKA_HOME/bin:$PATH
3、生效环境变量
source ~/.bash_profile

  配置$KAFKA_HOME/config/server.properties

1、broker.id=0    //每个borker都必须设置的不一样
2、listeners=PLAINTEXT://:9092         //监听的地址
3、log.dirs=/home/hadoop/app/kafka/tmp/kafka-logs             //缓存所放的位置
4、zookeeper.connect=hadoop000:2181                     //zookeeper地址，以,分隔

二、卡夫卡常用命令

2.1 启动zk、kafka命令

zkServer.sh start
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

2.2 kafka创建Topic

bin/kafka-topics.sh --zookeeper hadoop000:2181 --create --topic mytopic --partitions 1  --replication-factor 1

2.3 kafka查看Topic

bin/kafka-topics.sh --zookeeper hadoop000:2181 --list

2.4 查看Topic的数据

bin/kafka-topics.sh --zookeeper hadoop000:2181 --describe --topic mytopic

2.5 增加Topic的数量

bin/kafka-topics.sh --zookeeper hadoop000:2181  --alter --topic mytopic --partitions 10

2.6 查看某个组的消费情况

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group mygroup

2.7 生产数据

bin/kafka-console-producer.sh --broker-list hadoop000:9092 --topic mytopic 

2.8 消费数据

bin/kafka-console-consumer.sh  --zookeeper hadoop000:2181  --topic mytopic --from-beginning