weixin_45711828的博客

一、简介 1.分布式日志采集系统 这里的日志指的是人机交互所产生的数据。 可以得到flume是采集人机交互数据的工具。 采集数据就会有三个核心部分:数据来源，数据数据通道，数据流向目的地。 2. Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。 3. Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据﹔同时，Flume提供对数据的简单处理，并写到各种数据接收方

一、Source Source是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件(event)里，然后将事件推入Channel中。 flume提供了很多内置的Source，每个Source都表示不同的功能，可以从不同的位置读取数据。 flume的Source 一些常用的Source 二、Channel Channel连接Source和sink的组件，大家可以将它看做一个数据的缓冲区，它可以将事件暂存到内存中也可以持久化到本地磁盘上，直到Sink处理完该事件。 flume提供了很多内置

一、安装flume 在官网可以下载flume-ng 1.9 flume下载 flume的官方用户手册用户指南开发者指南 用户指南 开发者指南 1.把下载的apache-flume-1.9.0-bin.tar解压到linux文件夹下。 sudo tar -xvf apache-flume-1.9.0-bin.tar -C /opt 2.切换目录，把解压以后的apache-flume-1.9.0文件夹，改名字为flume。 a.切换目录 cd /opt b.改名字 sudo ln -s apac