flume-------用tail命令获取数据，下沉到hdfs

最新推荐文章于 2023-03-29 14:56:04 发布

原创

最新推荐文章于 2023-03-29 14:56:04 发布 · 695 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何配置 Flume 以 tail 命令实时监控并收集 `/home/hadoop/log/test.log` 文件中的数据，并将这些数据下沉到 HDFS 的 `/flume/events` 目录下。通过设置 Flume 配置文件，数据会按时间戳滚动存储，并以 DataStream 格式保存。启动 Flume agent 后，可以在 HDFS 上的相应路径查看收集到的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tail-hdfs.conf

用tail命令获取数据，下沉到hdfs

mkdir /home/hadoop/log

while true
do
echo 111111 >> /home/hadoop/log/test.log
sleep 0.5
done

tail -F test.log

采集到hdfs中, 文件中的目录不用自己建的

检查下hdfs式否是salf模式:
hdfs dfsadmin -report

bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1

前端页面查看下, master:50070, 文件目录: /flum/events/16-04-20/

启动命令：
bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1
################################################################

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#exec 指的是命令
# Describe/configure the source
a1.sources.r1.type = exec
#F根据文件名追中, f根据文件的nodeid追中
a1.sources.r1.command = tail -F /home/hadoop/log/test.log
a1.sources.r1.channels = c1