Kafka | Flume Sink日志到Kafka&HDFS
记录下将服务端AC设备产生的数据采集到Flume中,然后基于Flume Sink 把数据日志同时写入到Kafka与HDFS中,对于Kafka中的数据保存到指定的Topic中,然后后续基于Spark Streaming采用Direct的方式,将数据从消息队列中,取出并做处理。Flume采集日志文件,同时Sink写入到Kafka与HDFS。: agent =ac_online_user,如下:...
原创
2020-01-03 15:10:54 ·
534 阅读 ·
0 评论