a1786742005的博客

一、Flume 组成、Put 事务、Take 事务Taildir Source：断点续传、多目录。Flume1.6 以前需要自己自定义 Source 记录每次读取文件位置，实现断点续传。File Channel：数据存储在磁盘，宕机数据可以保存。但是传输速率慢。适合对数据传输可靠性要求高的场景，比如，金融行业。Memory Channel：数据存储在内存中，宕机数据丢失。传输速率快。适合对数...

一、介绍Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该...

一、自定义 Source 介绍Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中...

一、需求使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。二、需求分析在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 eve...

一、需求Hadoop151 上的 Flume-1 监控文件 /opt/module/group.log。hadoop152 上的 Flume-2 监控某一个端口的数据流。Flume-1 与 Flume-2 将数据发送给 hadoop153 上的 Flume-3，Flume-3 将最终数据打印到控制台。二、流程分析三、实现步骤3.1 准备工作1、在 hadoop151 上的 /opt...

一、需求使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移功能。二、流程分析三、实现步骤3.1 准备工作在 /opt/module/flume/job 目录下创建 group2 文件夹[test@hadoop151 job]$ mkdir group23.2 创...

一、需求使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。二、流程分析三、实现步骤3.1 准备工作1、在 /opt/module/flume/job 目录下创建 group1 文件夹[test@...

一、Flume 事务二、Flume Agent 内部原理组件：1、ChannelSelectorChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。 ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multi...

一、Flume 安装部署1.1 安装地址1、Flume 官网地址http://flume.apache.org/ 2、下载地址http://archive.apache.org/dist/flume/ 3、文档地址http://flume.apache.org/FlumeUserGuide.html1.2 安装部署1、将 apache-flume-1.7.0-bin.tar.gz...

一、Flume 定义Flume 是 Cloudra 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。二、Flume 基础架构2.1 简单的基础架构图2.2 Flume 架构中的组件1、AgentAgent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。Agent 主要有 3 个部分组成：Source、Chann...