flume安装配置-采集日志到hadoop存储

最新推荐文章于 2025-06-12 00:45:52 发布

liangjianyong007

最新推荐文章于 2025-06-12 00:45:52 发布

阅读量7.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： flume hadoop

本文链接：https://blog.youkuaiyun.com/liangjianyong007/article/details/52964488

本文介绍了Flume的日志采集功能，它作为agent部署在应用服务器上，收集日志并存储到HDFS集群，便于进行大数据分析。配置流程包括下载Flume、与Hadoop集群集成以及定制flume.conf文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、整体架构

flume其实就是一个日志采集agent，在每台应用服务器安装一个flume agent，然后事实采集日志到HDFS集群环境存储，以便后续使用hive或者pig等大数据分析日志，然后可转存到mysql供运维查询或分析用户行为等。

二、 fume与hadoop集群规划，hadoop集群安装参照：http://blog.youkuaiyun.com/liangjianyong007/article/details/52893234

集群规划：Hive只在一个节点（hadoop3）上安装即可
	主机名		IP				安装的软件		运行的进程
	hadoop1	192.168.31.10	jdk、hadoop			        NameNode、DFSZKFailoverController、
	hadoop2	192.168.31.20	jdk、hadoop	、hive、mysql	        NameNode、DFSZKFailoverController、hive、mysql
	hadoop3	192.168.31.30	jdk、hadoop	、flume		        ResourceManager、fulme
	hadoop4	192.168.31.40	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	hadoop5	192.168.31.50	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	hadoop6	192.168.31.60	jdk、hadoop、zookeeper	        DataNode、NodeManager、JournalNode、QuorumPeerMain

三、flume下载安装

1. 下载flume：http://archive.apache.org/dist/flume/

2. 安装

 tar -zxvf apache-flume-1.5.0-bin.tar.gz -C /usr/cloud/flume<

最低0.47元/天解锁文章

200万优质内容无限畅学