weixin_45267102的博客

文章目录Flume数据流监控-Ganglia1. Ganglia的安装与部署2. Ganglia配置3. 操作Flume测试监控☆Flume数据流监控-Ganglia1. Ganglia的安装与部署#安装httpd服务与phpsudo yum -y install httpd php#安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel#安装gangliasud

Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该Channel 从自己的内部缓冲区删除事件。

官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些 source。自定义MySource 需要继承 AbstractSource 类并实现 Configurable 和 PollableSource 接口，实现相应方法

hadoop 上的 Flume-1 监控文件/opt/module/data/group.log，hadoop101 上的 Flume-2 监控某一个端口的数据流，Flume-1 与 Flume-2 将数据发送给 hadoop102上的Flume-3，Flume-3 将最终数据打印到控制台。

使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用Failover Sink Processor，实现故障转移的功能。使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用Load balancing Sink Processor，实现负载均衡的功能。

在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理是：根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。在该案例中，我们以端口数据模拟日志，模拟不同类型的日志，我们需要自定义

使用 Flume-1 监控/opt/module/data/hive.log文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。

ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。ReplicatingSelector 会将同一个 Event 发往所有的 Channel。Multiplexing 会根据相应的原则，将不同的 Event 发往不同的 Channel。SinkProcessor 共 有 三 种 类 型 ， 分 别 是 De

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。