qq_47947471的博客

Flume简介 1.Flume概述 (1)概念: Apache Flume 是一个分布式的、可靠的、可用的数据收集系统。 它可以有效地收集、聚合和移动大量的日志数据，这些数据可以从许多不同的来源转移到Hadoop或者其它目的地。 (2)Apache Flume 不仅仅限于日志数据聚合。 Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎所有可能的数据源。 (3)Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复。 2.Flume特点 (1)

1.准备一台安装配置完成jdk的CentOs7虚拟机 2.解压文件(flume-ng-1.6.0-cdh5.14.2.tar.gz压缩包) #tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz 3.建立flume软连接 #mv apache-flume-1.6.0-cdh5.14.2-bin /opt/soft/flume160 4.环境配置和搭建 (1)修改配置 进入/opt/soft/flume160/conf目录下 将flume-env.sh.tem