flume监控每天按日期滚动的日志文件

最新推荐文章于 2022-07-13 20:49:18 发布

科学的N次方

最新推荐文章于 2022-07-13 20:49:18 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/106895519

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何利用Flume工具监控每天按日期滚动的日志文件，并通过配置文件conf/log2hdfs.conf来实现数据流向管理，启动Flume agent1进行日志收集并传输到HDFS。

bin/flume-ng agent -c conf -f conf/log2hdfs.conf -n agent1

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# Describe/configure tail -F source1
agent1.sources.source1.type = exec
agent1.sources.source1.shell = /bin/bash -c
agent1.sources.source1.command = tail -n +0 -F "/home/zhili_http_datainput/http-datainput/bin/logs/http-datainput.log.