本文详细介绍了Flume的数据源类型，包括Linux文件、其他Flume的Sink、JSON数据HTTP。同时也阐述了数据的下沉方式，如HDFS和本地文件。此外，还重点讲解了如何实现过滤器，包括时间过滤器、主机过滤器和自定义过滤器的配置方法。
sources的type类型
数据源为 linux的文件：
例如：
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/root/hive.log
a1.sources.r1.shell = /bin/bash -c
例如：
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F -c +0 /root/calllog.csv
a1.sources.r1.shell = /bin/bash -c
数据源为 其他flume的sink
例如：
a2.sources.r1.type = avro
a2.sources.r1.bind = master
a2.sources.r1.port = 4141
来源是json数据http
例如
b.sources.r2.type=http //来源是json数据
b.sources.r2.port=7777
b.sources.r2.bind=master
sinks的type类型:
下沉到hdfs
例如:
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://master:9000/flume2/%Y%m%d/%H
下沉到本地文件
例如：
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /root/flume2
实现过滤器
a.sources=r1
最低0.47元/天 解锁文章
扫一扫
1660
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
