
Flume
Flume 学习的点点滴滴
秋风小凉鱼
技术无边界!
展开
-
Flume 传递数据到HDFS上
使用瑞士军刀(netcat 作为输入源) ,hdfs 作为flume 的输出源(sink)flume 配置文件内容如下:a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 8888a...原创 2018-09-06 08:54:42 · 1937 阅读 · 0 评论 -
Flume 、 Kafka 和SparkStreaming 简单整合
flume 传递数据给Kafka ,然后Spark 从Kafka 中接收数据进行处理.本文使用netcat 工具作为flume 的输入源 , 话不多说,直接贴代码.1、flume 配置文件配置: a1.sources = r1 a1.sinks = k1 a1.channels = c1 ...原创 2018-09-15 21:01:37 · 341 阅读 · 0 评论