Flume 安装配置

FLume 日志采集系统

在大数据系统的开发中，数据收集工作无疑是开发者首要解决的一个难题，但由于生产数据的源头丰富多样，其中包含网站日志数据、后台监控数据、用户浏览网页数据等，数据工程师要想将它们分门别类的采集到HDFS系统中，就可以使用Apache Flume(数据采集）系统。

---

Flume运行机制

Flume的核心是把数据从数据源（例如Web服务器）通过数据采集器(Source)收集过来，再将收集的数据通过缓冲通道(Channel)汇集到指定的接收器(Sink)。
Flume基本架构中有一个Agent(代理)，它是Flume的核心角色，Flume Agent是一个JVM进程，它承载着数据从外部源流向下一个目标的三个核心组件: Source、Channel和Sink。

---

Flume 结构图

---

Flume Sources

---

Flume 安装配置