flume的使用

本文介绍了如何使用Flume实时读取目录中的文件并将其内容传输到HDFS,以及如何配置Flume通过Kafka Channel对接数据流,以解决数据堆积和效率问题。通过示例配置文件和操作步骤,展示了Flume监控本地文件夹并将新增内容写入HDFS,以及使用Kafka作为中间缓存的流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

flume使用

实时读取目录中文件到HDFS

1在flume下创建文件夹upload:mkdir upload
2在flume下创建job文件夹用于存放配置的conf
3在job文件中创建conf:touch flume-dir-hdfs.conf
4开始配置conf:vim flume-dir-hdfs.conf

a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
#监控的文件夹路径
a3.sources.r3.spoolDir = /usr/local/flume/flume/upload
#给文件添加后缀.COMPLETED用于检测已经被扫描过
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp结尾的文件,不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)

# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://vm-bw-server17:8020/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStam
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值