设置Flume监听文件内容

最新推荐文章于 2024-12-28 23:05:44 发布

转载最新推荐文章于 2024-12-28 23:05:44 发布 · 318 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://yq.aliyun.com/articles/625635

文章标签：

#大数据 #开发工具

本文介绍如何配置Flume实现实时监控并采集Linux文件中的新增内容，直接写入HDFS。通过具体配置示例，展示如何利用Flume的tail命令实现对文件更新的实时跟踪。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

应用场景

按照Hadoop完全分布式安装Flume博文，测试使用了Flume监听文件夹，当文件夹中添加了文件，Flume设置会立马进行收集文件夹中的添加的文件，那么这是一种应用场景，但是如果我们想收集文件中的内容，该如何办呢？比如，linux目录下有一个文件，我会往这个文件里不断的新增内容，那么怎么才能实时写入到HDFS呢？

操作方案

Hadoop完全分布式安装Flume博文，中监控文件夹，如果linux目录的文件夹下，有文件添加，那么会自动采集到HDFS目录，如果需要监控具体的文件内容，如果该文件中有数据更新，那么需要修改flume-conf.properties文件为如下，其他不变！

 # cd /opt/flume1.7.0/conf
 # vim flume-conf.properties

# a.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec 
a1.sources.r1.command = tail -F /opt/log/exec.text
a1.sources.r1.fileHeader = true
a1.sources.r1.deserializer.outputCharset=UTF-8
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop0:9000/log
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.maxOpenFiles = 1
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollSize = 1000000
a1.sinks.k1.hdfs.batchSize = 100000
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000000
a1.channels.c1.transactionCapacity = 100000
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

 # cd /opt/flume1.7.0/
 # bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console