flume配置详解

本文详细介绍了Flume的数据源类型,包括Linux文件、其他Flume的Sink、JSON数据HTTP。同时也阐述了数据的下沉方式,如HDFS和本地文件。此外,还重点讲解了如何实现过滤器,包括时间过滤器、主机过滤器和自定义过滤器的配置方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

sources的type类型

数据源为 linux的文件:
例如:
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/root/hive.log
a1.sources.r1.shell = /bin/bash -c

例如:
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F -c +0 /root/calllog.csv
a1.sources.r1.shell = /bin/bash -c

数据源为 其他flume的sink
例如:
a2.sources.r1.type = avro
a2.sources.r1.bind = master
a2.sources.r1.port = 4141

来源是json数据http
例如
b.sources.r2.type=http //来源是json数据
b.sources.r2.port=7777
b.sources.r2.bind=master

sinks的type类型:

下沉到hdfs
例如:
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://master:9000/flume2/%Y%m%d/%H

下沉到本地文件
例如:
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /root/flume2

实现过滤器

a.sources=r1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值