阿宁的博客

（1）安装安装规划：（2）配置在主机上cmd看ip:（3）启动在Windows浏览器中打开ganglia 页面：http://hadoop102/ganglia。

（2）自定义MySink ，继承 AbstractSink 类并实现 Configurable 接口，并打包，将jar包放到/opt/module/flume-1.9.0/lib目录下。（3）在/opt/module/flume-1.9.0/job下创建文件夹group6，在该文件夹下创建配置文件netcat-flume-mysink.conf。process()//从 Channel 读取获取数据（event），这个方法将被循环调用。（1）创建一个 maven 项目，并引入以下pom依赖。

（2）自定义MySource ，继承 AbstractSource 类并实现 Configurable 和 PollableSource 接口，并打包，将jar包放到/opt/module/flume-1.9.0/lib目录下。（3）在/opt/module/flume-1.9.0/job下创建文件夹group5，在该文件夹下创建配置文件flume-mysource-logger.conf。configure(Context context)//初始化 context（读取配置文件内容）

此时会用到 Flume 拓扑结构中的 Multiplexing多路复用结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。（1）创建一个 maven 项目，并引入以下依赖。

（1）需求：使用 Flume-1 监控文件变动（可以用Exec Source或Taildir Source），Flume-1 将变动内容传递给 Flume-2（用Avro Sink传），（用Avro Source接）Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。

重要组件：1、ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。（1）：将同一个 Event 发往所有的 Channel。（2）：根据相应的原则，将不同的 Event 发往不同的 Channel。2、（1）：对应的是单个的 Sink.（2）：假设一个channel绑定了多个sink，由于数据由sink主动拉取，首先由channel以轮询的方式询问sink有没有数据拉取，有即拉走。（3）

（1） Flume 官网地址http://flume.apache.org/（2）文档查看地址http://flume.apache.org/FlumeUserGuide.html（3）下载地址http://archive.apache.org/dist/flume/

Flume 是一个高可用的，高可靠的，分布式的。Flume 基于流式架构，灵活简单。Flume最主要的作用是实时读取服务器本地磁盘的数据，把数据写到HDFS。