cowbin2012的专栏

系统要求Java运行时环境 - Java 1.8或更高版本内存 - 源，通道或接收器使用的配置的足够内存磁盘空间 - 通道或接收器使用的配置的足够磁盘空间目录权限 - 代理使用的目录的读/写权限下载及安装1.下载到Flume官网上http://flume.apache.org/download.html下载软件安装包，如图：2. 解压mkdir -p /usr/lo...

Flume的事务机制Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。比如：spooling directory source 为文件的每一行创建一个事件，一旦事务中所有的事件全部传递到channel且提交成功，那么source就将该文件标记为完成。同理，事务以类似的方式处理从channel到sink的传递过程，如果因为某种原因...

源码地址**前言：**接上两篇Flume(6) flume自定义Sources实现 Flume(7) flume自定义Sinks实现，我们总结了一下自定义source和sink的流程，这次我们实现一个自己的拦截器实现，用来数据清洗和过滤自定义拦截器实现说明1. 实现interceptor接口，并实现其方法，接口完全限定名为：org.apache.flume.interceptor.I...

源码地址前言 接上一篇Flume(6) flume自定义Sources实现，我们总结了一下自定义source的流程，这次我们实现一个自己的Sink，将数据Sink到Mysql数据库中。创建数据库相关CREATE TABLE `flume` ( `content` varchar(255) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=u...

源码地址自定义source 记录读取偏移量添加依赖<properties> <version.flume>1.9.0</version.flume></properties><dependencies> <dependency> <groupId>org.apache.fl...

1. Flume InterceptorsFlume有能力修改/删除流程中的events。这是在拦截器（interceptor）的帮助下完成的。拦截器（Interceptors）是实现org.apache.flume.interceptor.Interceptor接口的类。一个interceptor可以根据interceptor的开发者选择的任何标准来修改，甚至放弃events。这个可以通过在配...

1 Flume Sources1.1 Avro Source监听Avro端口，从Avro client streams接收events。要求属性是粗体字。agent a1例子：ipFilterRules例子：ipFilterRules=allow:ip:127., allow:name:localhost,deny:ip:1.2 Thrift Source监听Thrift端口和...

1. Flume ChannelChannels是events在agent上进行的存储库。Source添加events，Sink移除events。1.1 Memory Channel（内存Channels）events存储在配置最大大小的内存队列中。对于流量较高和由于agent故障而准备丢失数据的流程来说，这是一个理想的选择。agent a1示例：1.2 JDBC Channel...

1. Flume Sinks1.1 HDFS Sink该sink把events写进Hadoop分布式文件系统（HDFS）。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性（如时间戳或发生事件的机器）把数据划分为桶或区。agent a1的示例：上述配置会将时间戳降到最后10分钟。例如，带有11:54:34...

1. 系统要求Java运行环境 —— Java 1.8及以上内存 —— 足够的内存供配置的sources，channels 或者sinks使用硬盘空间 —— 足够的硬盘空间供配置的channels或者sinks使用文件权限 —— agent使用的文件夹读写权限2. 架构及数据流模型模型介绍详情参考：http://www.cnblogs.com/swordfall/p/809346...

一、在前面几篇文章中介绍过几种常见的flume pipeline 场景。我们在回顾一下，主要有一下几种：1、多个 agent 顺序连接：可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务...