本文介绍了如何在Hadoop环境中使用Flume进行日志自动收集。通过一个实例展示了如何配置Flume，使其监听指定目录，当有新日志文件生成时，即时上传到HDFS，实现数据的秒级采集。总结了Flume的基础用法，并指出其在生产环境中的广泛应用潜力。
系统环境：CentOS 7
平台：Hadoop2.9
JAVA：JAVA1.8
在正式开始学习Flume之前，我相信各位都已经清楚了解HDFS到底是个什么了。在这里我们将HDFS简单地视为一个大硬盘，容量非常大的大硬盘，那么如何实现自动化地往这个硬盘中定期存入数据呢？Flume的功能就在于此。
Flume就是这样一个工具。
下面我将介绍在如何在HDFS的基础上应用Flume来达到日志文件的自动收集目的。
第一步：部署安装Flume
Flume需要JDK环境，因此需要先安装JDK并设置好系统环境。【这里不赘述了，因为能跑Hadoop自然有JDK环境】
我选择用二进制包解压安装。
Flume版本我选择的是1.8。官网下载地址是：http://mirrors.hust.edu.cn/apache/flume/1.8.0/
下载好 apache-flume-1.8.0-bin.tar.gz 文件后，通过Xftp或者其他ftp工具传到服务器端，我上传后的服务器路径在 /us
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
