flume安装配置-采集日志到hadoop存储

一、整体架构

  

    flume其实就是一个日志采集agent，在每台应用服务器安装一个flume agent，然后事实采集日志到HDFS集群环境存储，以便后续使用hive或者pig等大数据分析日志，然后可转存到mysql供运维查询或分析用户行为等。

  二、 fume与hadoop集群规划，hadoop集群安装参照：http://blog.youkuaiyun.com/liangjianyong007/article/details/52893234

集群规划：Hive只在一个节点（hadoop3）上安装即可
	主机名		IP				安装的软件		运行的进程
	hadoop1	192.168.31.10	jdk、hadoop			        NameNode、DFSZKFailoverController、
	hadoop2	192.168.31.20	jdk、hadoop	、hive、mysql	        NameNode、DFSZKFailoverController、hive、mysql
	hadoop3	192.168.31.30	jdk、hadoop	、flume		        ResourceManager、fulme
	hadoop4	192.168.31.40	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	hadoop5	192.168.31.50	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	hadoop6	192.168.31.60	jdk、hadoop、zookeeper	        DataNode、NodeManager、JournalNode、QuorumPeerMain

三、flume下载安装

1. 下载flume：http://archive.apache.org/dist/flume/

 2. 安装

 tar -zxvf apache-flume-1.5.0-bin.tar.gz -C /usr/cloud/flume<