kafka来读取flume的数据

一、查看kafka topic 

./kafka-topics.sh --list --zookeeper  bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181

./kafka-topics.sh  --delete  --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181  --topic junshen

可以看到已经删除了，因为我已经配置过delete.topic.enable =true.所以已经都删除掉了

.

二、flume配置发送数据方式

这个是配置之前的flume 她将数据写入hdfs

flume原理请自己查看flume文档。。新增一个channel和sink。将数据输出到kafka

查看flume的官方文档和kafka的配置要求

修改后的

启动kafka

 ./kafka-server-start.sh  ../config/server.properties

看看kafka目前的topic

bin/kafka-topics.sh --list --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181,bigdata-test-4:2181,bigdata-test-5:2181

查看topic的详细信息

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic weblog

启动flume

./flume-ng agent --conf ../conf --conf-file ../conf/template01.conf --name a1 -Dflume.root.logger=INFO,console

其中出现了消费者接收不到的问题。在flume启动的时候就会报错。链接r2的一只不启动

最后发现是flume版本的问题。之前的配置，新版flume才可以使用

修改后重新启动flume

./flume-ng agent --conf ../conf --conf-file ../conf/template01.conf --name a1 -Dflume.root.logger=INFO,console

启动kafka客户端

./kafka-console-consumer.sh --zookeeper bigdata-test-4:2181, bigdata-test-5:2181, bigdata-test-3:2181 --from-beginning --topic weblog

启动web客户端 传输过来了数据

验证接受到了数据。。验证完成。

自此kafka集群配置完毕