flume的使用

最新推荐文章于 2024-11-22 20:38:33 发布

原创

最新推荐文章于 2024-11-22 20:38:33 发布 · 431 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #大数据

本文介绍了如何使用Flume实时读取目录中的文件并将其内容传输到HDFS，以及如何配置Flume通过Kafka Channel对接数据流，以解决数据堆积和效率问题。通过示例配置文件和操作步骤，展示了Flume监控本地文件夹并将新增内容写入HDFS，以及使用Kafka作为中间缓存的流程。

flume使用

实时读取目录中文件到HDFS

1在flume下创建文件夹upload：mkdir upload
2在flume下创建job文件夹用于存放配置的conf
3在job文件中创建conf：touch flume-dir-hdfs.conf
4开始配置conf：vim flume-dir-hdfs.conf

a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
#监控的文件夹路径
a3.sources.r3.spoolDir = /usr/local/flume/flume/upload
#给文件添加后缀.COMPLETED用于检测已经被扫描过
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)

# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://vm-bw-server17:8020/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStam