
Flume
Rone-X
Time is Love
展开
-
Flume常见Source、Channel、Sink配置
整合一下Flume常见的Source、Channel、Sink的配置--------------------------常见的Source的配置--------------------Avro Source配置:参数默认值描述channels-与之相连的Channel,可以配置多个。用空格隔开。在单个代理流程中,是通过channel连接sources和sinks。一...原创 2020-03-12 18:03:01 · 1798 阅读 · 0 评论 -
Flume消费Kafka数据写入HDFS
主要是消费kafka中不同topic落入不同的文件夹上这里仅作为参考因为我是在华为云上使用Flume消费Kafka数据到OBS(华为云的对象存储产品 s3a)适当做了修改Flume版本1.6.0#这里Source1、2 channel01 sink02 随便写 只需要在后面引用的时候对应起来就好server.sources = Source1 Source2 server.channe...原创 2020-03-12 16:13:37 · 589 阅读 · 0 评论