Flume监听文件并上传到HDFS

最新推荐文章于 2024-12-28 23:05:44 发布

饭多多呀

最新推荐文章于 2024-12-28 23:05:44 发布

阅读量397

点赞数

分类专栏：大数据文章标签： hdfs flume hadoop linux

本文链接：https://blog.youkuaiyun.com/weixin_41907283/article/details/130623559

版权

本文详细介绍了如何配置Flume以监听指定的文件 `/root/flume_tail.log`，并将文件内容实时上传到HDFS的 `/flume` 目录下。在配置完成后，启动Flume，确保Hadoop服务运行正常。接着向被监控文件写入内容，通过检查HDFS确认数据已成功传输。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume监听文件并上传到HDFS

监听任意一个文件，并将监控结果上传到hdfs的/flume目录下

1.编写配置文件

#me the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
# exec即execute执行命令
a1.sources.r1.type = exec
# 要执行的命令
a1.sources.r1.command = tail -F /root/flume_tail.log
# 执行shell脚本的绝对路径
a1.sources.r1.shell = /bin/bash -c
# Describe the sink
a1