小白的博客

一、Flume概述 flume是分布式的，可靠的，用于从不同的来源有效 收集，聚集 和 移动 大量的日志数据用以集中式管理的系统。 是apache的一个顶级项目。 二、Flume的安装配置 a. 下载flume flume是apache的顶级项目，通过访问如下地址可以下载flume的安装包：http://flume.apache.org/ 下载的时候要注意，flume主要有两个大的版本，分别是fl...

一、Logger Sink 记录指定级别的日志，通常用于调试。 二、File Roll Sink 在本地文件系统中存储事件，每隔指定时长生成文件保存这段时间内收集到的日志信息。 配置Agent 三、HDFS Sink 此Sink将事件写入到Hadoop分布式文件系统HDFS中。 它支持创建文本文件和序列化文件，对这两种格式都支持压缩。 这些文件可以分卷，按照指定的时间或数据量或事件的数量为基...

一、 Avro Source 监听AVRO端口，接受来自外部AVRO客户端的事件流。 是实现多级流动、扇出流、扇入流等效果的基础。 另外也可以接受通过flume提供的Avro客户端发送的日志信息。 a.配置Agent b.启动Agent c.通过Avro-Client测试 二、Exec Source 可以将命令产生的输出作为源 a.配置Agent b.启动Agent 三、Spoolin...

一、Memory Channel 事件将被存储在内存中的具有指定大小的队列中。 特点是速度快，但断电丢失数据。 非常适合那些需要高吞吐量但是可以容忍极端情况下会丢失数据的场景下。 二、JDBC Channel 了解，一般不用 事件被持久存储在可靠的数据库中。 提供较好的效率和可靠性可恢复性。 目前支持嵌入式的Derby数据库。 三、File Channel 事件将被存储在磁盘中的文件...

一、Flume Selector 1. Selector概述 Selector即Flume中的选择器，主要用在实现扇出过程中实现按照指定方式分发数据。 选择器的工作模式： 复制 和 多路复用(路由)模式 默认情况下，不配置Selector，则扇出采用复制机制。 2. Selector实现复制 不配置Selector，默认在扇出时就是复制方式。 也可以显示进行配置： 3. Select...