Flume 原理和使用

最新推荐文章于 2022-11-11 11:26:15 发布
原创 最新推荐文章于 2022-11-11 11:26:15 发布 · 3.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume

Apache Flume 是一个用于高效、可靠、分布式的海量日志聚合系统。它由 source、channel 和 sink 三部分组成，确保数据在传输过程中的可靠性。Source 用于获取数据，如日志文件；Channel 作为临时存储，保证数据完整性；Sink 负责将数据传输到目的地，如 HDFS。Flume 支持多级跳转和多种数据源，常用于日志实时收集和聚合。

1. 介绍

Flume 是 Cloudera 提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在日志系统中定制各类数据发送方，同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

Flume 使用 java 编写，其需要运行在 Java1.6 或更高版本之上。

2. 架构

2.1 数据流

Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。

Flume 传输的数据的基本单位是 Event，如果是文本文件，通常是一行记录，这也是事务的基本单位。Event 从 Source，流向 Channel，再到 Sink，本身为一个 byte 数组，并可携带 headers 信息。Event 代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。

Flume 运行的核心是 Agent。它是一个完整的数据收集工具，含有三个核心组件，分别是 source、channel、sink。通过这些组件，Event 可以从一个地方流向另一个地方，如下图所示。

  • source 可以接收外部源发送过来的数据。不同的 source，可以接受不同的数据格式。比如有目录池(spooling directory)数据源，可以监控指定文件夹中的新文件变化，如果目录中有文件产生，就会立刻读取其内容。
  • channel 是一个存储地，接收 source 的输出，直到有 sink 消费掉 channel 中的数据。channel 中的数据直到进入到下一个channel中或者进入终端才会被删除。当 sink 写入失败后，可以自动重启，不会造成数据丢失，因此很可靠。
  • sink 会消费 channel 中的数据，然后送给外部源或者其他 source。如数据可以写入到 HDFS 或者 HBase 中。

flume 允许多个 agent 连在一起，形成前后相连的多级跳。

2.2 核心组件

2.2.1 source

Client端操作消费数据的来源，Flume 支持 Avro，log4j，syslog 和 http post(body为json格式)。可以让应用程序同已有的Source直接打交道，如AvroSource，SyslogTcpSource。也可以 写一个 Source，以 IPC 或 RPC 的方式接入自己的应用，Avro和 Thrift 都可以(分别有 NettyAvroRpcClient 和 ThriftRpcC

最低0.47元/天 解锁文章
Flume原理与代码实例讲解
AI天才研究院
05-30 1338
Flume原理与代码实例讲解 1.背景介绍 1.1 什么是Flume Apache Flume是一个分布式、可靠、高可用的海量日志数据收集系统,它可以从不同的数据源收集数据,经过聚合后传输到集中存储系统中,如HDFS、HBase等。Flume具
Apache Flume架构和原理
JustinMars的博客
08-23 1197
Apache Flume是一个用于收集、聚合和传输大规模数据的分布式系统。它具有许多特性，使其适用于各种数据流处理场景。
Flume-ng的原理和使用
weixin_33724570的博客
02-03 271
原文发表在：http://blog.javachen.com/2014/07/22/flume-ng.html 1. 介绍 Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG...
flume 数据采集
datiechui20的博客
12-29 3412
1、flume在大数据业务中的角色 Hadoop业务的整体开发流程：    在大数据的业务处理过程中，Flume主要负责数据的采集。   2、Flume架构介绍    flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如说送到图中的HDFS，简单来说flume就是收集日志的。  2、Event  在这里有必要先介绍一下flume中event
Flume汇入数据到Hive,Hbase
qq_53025556的博客
11-11 1782
Flume汇入数据到Hive,Hbase
flume的原理和使用
nxcjh321的专栏
03-13 1003
摘自:http://www.superwu.cn/2013/12/04/870/ 概述   flume是cloudera公司的一款高性能、高可能的分布式日志收集系统。 flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。 flume传输的数据的基本
Flume的原理和基本使用
边看边学
09-26 792
官网：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1/ 概述   Flume是一个分布式日志的的采集框架，其核心是把数据从数据源（source）收集过来，再将收集到的数据送到指定的目的地（sink）。为了保证输送的过程一定成功，在送到目的地（sink）之前，会先缓存数据（channel），待数据真正到达目的地（sink...
精选资源
【Flume】（三）Flume 事务、拓扑结构和Flume Agent 内部原理
01-07
文章目录一、Flume 事务二、Flume Agent 内部原理三、Flume 拓扑结构1、简单串联2、复制和多路复用3、负载均衡和故障转移4、聚合 一、Flume 事务 二、Flume Agent 内部原理 重要组件： 1）ChannelSelector Channel...
精选资源
flume介绍与原理
01-27
近年来，随着Flume的持续优化和新版本的发布，尤其是Flume-ng的出现，其功能不断增强，用户友好性显著提升，现已成为Apache顶级项目之一。 Flume的核心是将来自不同数据源的日志或事件数据高效地汇聚并存储到集中式...
Flume
01-08 1128
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。 2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。 3.agent里面包含3个核心组件：source、channel、sink。 3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d
Flume的简介、原理与安装
彷徨的博客
10-13 2592
1、前言 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一. 官网：http://flume.apa...
Flume基本原理及使用
weixin_41812379的博客
11-23 3603
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume最主要是用在分布式系统中，例如读取服务器本地的磁盘数据，并将数据写入到HDFS中。 对Flume的学习，最好就是结合官方文档进行学习。文档中有各种使用场景的配置，在开发的过程中，可以通过编写flume的工作配置文件来调用flume实现数据提取。 Flume文档地址：http://flume.apache.org/FlumeUserGuide.html 文档内有各种source, channel, sink, selecto
Flume原理、安装和使用
weixin_44033192的博客
06-14 366
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。 2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。 3.agent里面包含3个核心组件：source、channel、sink。 3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义。
Flume的使用和配置、底层原理
あずにゃん梓喵的博客
03-28 1740
大数据组件使用 总文章 ===========Apache Flume============ 1.概述 1.Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 2.Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。 为了保证输送的过程一定...
flume安装配置与原理
korry24的博客
05-24 347
1、flume的安装 下载flume，解压安装 flume-ng-1.6.0-cdh5.14.0.tar.gz 修改配置文件 cd /opt/software/flume/conf mv flume-env.sh.template flume-env.sh vi flume-env.sh 修改如下的内容 在如下位置加入jdk的路径和给flume分配的内存大小 2、flume的简介 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用
Hadoop之flume 框架日志采集原理及使用
yidianyidei的博客
08-30 1375
文章目录FLUME 框架一 概述1.1 Flume定义1.2Flume的优点1.3Flume组成架构1）Agent2）Source3）Channel4）Sink5）Event1.4Flume拓扑结构1.5 Flume &Agent内部原理二 快速入门2.1 Flume安装地址1） Flume官网地址2）文档查看地址3）下载地址2.2 安装部署三 企业开发案例3.1监控端口数据官方案例1）案例需求：2）需求分析：3）实现步骤：1．安装netcat工具2．判断44444端口是否被占用基本语法：nets
Flume基本原理
qq_34993631的博客
11-23 530
Flume入门综述 Flume是一个日志采集工具。具体来说它是一个分布式的能够从不同来源收集、聚集、日志信息用以集中管理的系统。他的核心思想就是从不同的数据源（比如说远程的http请求，监听远程的日志文件，当然也有可能是远程的程序发出的序列化数据）获得数据然后放入数据中转站，然后不同的数据中转站之间可以进行相互连接构成一个中转站网，最后我们可以将一根管子通到中转站上的任何一个节点来接收数据。我们...
Flume原理深度解析
u010766519的博客
06-15 607
一、Flume简介 　　flume 作为cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 　　但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发...
flume的基本使用方法和工作原理
最新发布
08-25
<think>我们被要求回答关于Flume的基本使用方法和工作原理，包括安装配置步骤、基本使用方法及其数据传输的工作原理。注意，用户提供的引用中提到了Flume，但部分引用似乎与Kafka相关，我们需要专注于Flume，并参考用户提供的Flume引用（尽管有些引用可能不直接相关，但我们要注意识别）。 用户提供的引用： [^1]: 提到Flume的核心算法原理，包括Event生成、Channel缓冲机制和Sink的数据传输机制。 [^2]: 关于Flume的环境变量配置。 [^3]: 关于Flume拦截器的应用领域和数学模型。 [^4]: 一个启动Flume agent的命令行示例。 根据这些引用，我们可以构建回答。但注意，用户上一次的问题是关于Kafka的，而这次是Flume，因此我们需要独立回答Flume的问题。 回答结构： 1. Flume简介 2. 安装与配置步骤（参考引用[^2]和[^4]） 3. 基本使用方法（包括核心组件：Source, Channel, Sink，以及如何配置和运行一个Flume agent） 4. 数据传输的工作原理（参考引用[^1]和[^3]，包括Event、拦截器、Channel和Sink的工作机制） 注意：由于引用中提到了数学模型，我们可以适当提及，但不要过度深入，因为用户要求的是基本使用方法和工作原理。 另外，按照要求，数学表达式要用$...$或$$...$$格式，但Flume中数学公式较少，如果有可以提及（如可靠性保证的机制），否则可以省略。 最后，生成相关问题。 开始回答：</think>### Flume 的基本使用方法和工作原理 Flume 是一个分布式、高可靠的数据采集系统，专为日志聚合和流式数据传输设计。其核心架构基于 **Source-Channel-Sink** 模型，确保数据高效、可靠地从源头传输到目标存储[^1]。以下是详细说明： --- #### 一、安装与配置步骤 1. **环境准备** - 下载 Flume（[官网](https://flume.apache.org)），解压至目录（如 `/usr/local/flume`）。 - 配置环境变量（引用[^2]）： ```bash export FLUME_HOME=/usr/local/flume export PATH=$PATH:$FLUME_HOME/bin export FLUME_CONF_DIR=$FLUME_HOME/conf ``` 2. **配置文件** - 创建配置文件（如 `template2.conf`），定义数据流组件： ```properties # 定义 Agent 组件 a1.sources = r1 a1.channels = c1 a1.sinks = k1 # 配置 Source（数据源） a1.sources.r1.type = exec a1.sources.r1.command = tail -F /var/log/syslog # 监控日志文件 # 配置 Channel（缓冲队列） a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 # 最大事件数 # 配置 Sink（目标存储） a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = hdfs://namenode/flume/logs # 绑定组件 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` 3. **启动 Agent**（引用[^4]） ```bash ./flume-ng agent --conf ../conf --conf-file ../conf/template2.conf --name a1 -Dflume.root.logger=INFO,console ``` --- #### 二、基本使用方法 Flume 的核心操作围绕 **数据流定义** 和 **Agent 管理**： 1. **数据流定义** - **Source**：数据入口（如 `exec` 监控命令输出、`netcat` 监听端口）。 - **Channel**：数据缓冲（如 `memory` 内存队列、`file` 磁盘持久化）。 - **Sink**：数据出口（如 `hdfs` 写入 Hadoop、`logger` 输出到控制台）。 2. **拦截器应用**（引用[^3]） - 在数据传输中插入处理逻辑（如过滤无效数据、添加时间戳）： ```properties a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = timestamp ``` 3. **多级数据流** - 通过 **Avro Sink/Source** 连接多个 Agent，实现跨节点传输： ```properties # Agent1 的 Sink 配置 agent1.sinks.k1.type = avro agent1.sinks.k1.hostname = agent2-ip agent1.sinks.k1.port = 4545 # Agent2 的 Source 配置 agent2.sources.r1.type = avro agent2.sources.r1.bind = 0.0.0.0 agent2.sources.r1.port = 4545 ``` --- #### 三、数据传输的工作原理 Flume 的核心机制基于 **事务性数据传输** 和 **事件驱动模型**： 1. **事件（Event）生成**（引用[^1]） - 数据被封装为 **Event 对象**，结构为： $$ \text{Event} = \{\text{Headers (元数据)}, \text{Body (原始数据)}\} $$ - 例如：日志行 `"Error: disk full"` 转换为 Event，Header 包含 `{timestamp=1620000000}`，Body 存储原始字符串。 2. **数据传输流程** ```mermaid graph LR A[Source] -->|Pull/Push 事件| B[Channel] B -->|事务提交| C[Sink] ``` - **Source 到 Channel**： - Source 拉取数据（如 `exec` 读取命令输出），生成 Event。 - 通过 **事务机制** 将 Event 批量写入 Channel（避免数据丢失）[^1]。 - **Channel 缓冲**： - 内存或磁盘队列缓存 Event，平衡 Source 和 Sink 的速度差异。 - 可靠性由 Channel 类型决定： - `memory`：高性能，但宕机丢失数据； - `file`：磁盘持久化，高可靠。 - **Sink 输出**： - Sink 从 Channel 拉取 Event，批量写入目标（如 HDFS）。 - 成功写入后提交事务，Channel 删除已发送事件。 3. **容错与可靠性** - **事务机制**： - 采用 "Put-Take" 事务：Source 写入 Channel 前开启事务，提交后生效；Sink 读取后提交删除[^1]。 - 若 Sink 写入失败，事务回滚，Event 保留在 Channel 中重试。 - **拦截器链**（引用[^3]）： - 在 Source 和 Channel 间插入处理逻辑，如： - 正则过滤：丢弃不符合规则的 Event； - 数据脱敏：替换敏感字段。 4. **性能优化** - **批量传输**：通过 `batchSize` 参数控制批量写入大小（如 Sink 批量写入 HDFS）。 - **负载均衡**：多个 Sink 绑定同一 Channel，实现横向扩展。 --- #### 四、典型应用场景 1. **日志聚合**：实时采集服务器日志写入 HDFS 或 Elasticsearch。 2. **实时监控**：将系统指标流式传输到 Kafka 供 Spark 分析[^3]。 3. **数据预处理**：通过拦截器清洗、过滤原始数据，减少下游负载。 > **关键优势**：高可靠性（事务+持久化）、灵活扩展性（多级Agent）、易用性（声明式配置）。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值