Flume的组成

最新推荐文章于 2023-12-02 23:24:45 发布
原创 最新推荐文章于 2023-12-02 23:24:45 发布 · 255 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume #kafka

本文介绍了Flume的基本架构，包括Agent、Source、Channel、Sink和Event等核心组件，并详细解释了它们的功能及重要类型。

组成

  • Agent：是一个JVM进程（可通过top -p < pid > -H查看），分为Source、Channel、Sink。
  • Source：负责接收发送到Flume的数据，将数据以消息的形式通过事务提交到Channel。重要的Source有：TailDir、exec、netcat。
  • Channel：位于Source和Sink之间的缓冲区。重要的Channel有：File、Memory、Kafka。
  • Sink：轮询Channel中的消息，通过事务从Channel拉取数据，然后输出到指定位置。重要的有HDFS。
  • Event：Flume中的消息，分为Header和Body。
Flume数据采集概述、结构、环境搭建
OnTheRoad的博客
05-08 1万+
官网：http://flume.apache.org/前言：Hadoop整体开发业务流程1、概述：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力（其设计的原理也是基于将数据流（如日志数据）从各种网站服务器上汇集起...
Flume组成，Put事务，Take事务，拦截器，选择器和监控器
cvwarrior_wutu的博客
12-28 953
1 Flume组成，Put事务，Take事务 1.1 Flume组成 一、taildir source （1）特性： 支持断点续传、多目录 （2）是由哪个flume版本产生的？ Apache1.7、CDH1.6 （3）没有断点续传功能时怎么做的？ 使用自定义 （4）taildir挂了怎么办？ 不会丢数：断点续传，但是会造成重复数据： （5）怎么处理重复数据？ ①不处理 生产环境通常不处理，因为会影...
Flume组成架构
ITBOY_ITBOX博客
05-13 453
Flume组成架构 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。 Agent主要有3个部分组成，Source、Channel、Sink。 Source Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling direc...
Flume(1)-概述与组成架构
weixin_30702887的博客
01-02 269
一. 定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 二. 优点 1. 可以和任意集中式存储进程集成。 2. 输入的的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。 3. flume中的事务基于channel，使用了两个事务模型（sender + receiver）...
Flume概述及组成架构（实时、日志、传输）
weixin_48067943的博客
08-10 711
文章目录一、Flume 概述（实时、日志、传输）1、概念2、Flume 基础架构2.1 Agent2.2 Source2.3 Sink2.4 Channel2.5 Event 一、Flume 概述（实时、日志、传输） 1、概念 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。（实时日志传输） 补充：Hadoop 三大发行版本 Apache Hadoop: 最原始（最基础）的版本 Cloudera Hadoop: 内
简述Flume组成架构
06-10
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，其组成架构主要包括三个组件：Source、Channel和Sink。 1. Source Source是Flume的数据源组件，负责数据的输入和采集，可以从各种数据源采集...
三、名词解释 16、 Flume (5.0分) 17、 Kafka 四、问答题 18、简述大数据处理过程。 (10.0分) 答: 19、简述Flume组成架构。 (10.0分) 答: 20、简述利用FLUME实时读取目录文件到HDFS的步骤。 (10.0分) 答: 21、简述Kafka架构。 (10.0分) 答: 22、简述Spark的组件及其功能。 (10.0分) 答: 23、简述Spark的特点及运行模式。 (10.0分)
06-10
19、Flume组成架构包括：Source、Channel和Sink三个组件。Source负责数据的输入和采集，Channel负责数据的缓存和存储，Sink负责数据的输出和传输。 20、利用Flume实时读取目录文件到HDFS的步骤如下： 1）在Flume...
精选资源
尚硅谷大数据技术之Flume
03-23
Flume 组成架构主要包括 Agent、Source、Channel 和 Sink 四个组件。 1.2.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的地，是 Flume 数据传输的基本单元。Agent 主要有 3 个部分组成，...
本关任务：多方面了解 Flume，完成将 /opt/flume/flumedata 目录下的所有文件采集到 Hdfs。 相关知识 1.Flume的定义； 2.为什么选用Flume； 3.Flume的基础架构； 4.Flume 的部署类型； Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，灵活简单。 为什么选用Flume Apache Flume 是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和移动大量的日志数据，从许多不同的源到一个集中的数据存储。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可以用来传输大量的事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。 Flume 基础架构 Flume 组成架构如下图所示： Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种 格式的日志数据，包括 Avro、Thrift、Exec、Jms、Spooling Directory、Netcat、Taildir、 Sequence Generator、Syslog、Http、Legacy。 Source 流程图如下： Sink Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储 或索引系统、或者被发送到另一个 Flume Agent。 Sink 组件目的地包括 HDFS、Logger、Avro、Thrift、Ipc、File、HBase、Solr、自定 义。 Sink 流程图如下： Channel Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运 作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。 Flume 自带两种 Channel：Memory Channel 和 File Channel。 Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适 用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕 机或者重启都会导致数据丢失。 File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数 据。 Channel 流程图如下： Event 传输单元，Flume 数据传输的基本单元，以 Event 的形式将数据从源头送至目的地。 Event 由 Header 和 Body 两部分组成，Header 用来存放该 Event 的一些属性，为 K-V 结构， Body 用来存放该条数据，形式为字节数组。 Flume的部署类型 单一流程 多代理流程（多个Agent顺序连接） 可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent 的数量，因为数据流经的路径变长了，如果不考虑Failover的话，出现故障将影响整个Flow上的Agent收集服务。 流的合并（多个Agent的数据汇聚到同一个Agent ） 这种情况应用的场景比较多，比如要收集Web网站的用户行为日志， Web网站为了可用性使用的负载集群模式，每个节点都产生用户行为日志，可以为每 个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上。第一次 Agent 负责采集原始数据，第二层 Agent 负责对第一层数据进行汇聚。这种多层代理的方式尤其适合 Source 源数据量庞大的时候，效率会高很多。 多路复用流（多级流） Flume支持堵路输出Event流到一个或多个目的地。这是靠定义多路数据流实现的，它可以实现复制和选择性路由一个Event到一个或者多个Channel。 Load Balance功能 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。 Load Balancing Sink Processor 能够实现 Load Balance 功能，如图Agent1 是一个路由节点，负责将
最新发布
10-25
首先，用户的问题是关于Flume的：他们想了解Flume的定义、选用原因、基础架构、部署类型，并完成将 `/opt/flume/flumedata` 目录下的所有文件采集到HDFS的任务。用户提供了几个引用，这些是关于Flume命令的示例，但...
2，flume 组成结构，组件介绍，拓扑结构，内部原理 ：
孙砚秋的博客
07-14 460
# 一 ，架构 ： ### 1 ，脏数据多少算正常 ： 1 / 10000 . 如果再多，就不太好了。 ### 2 ，flume 架构 ：
核心组件——Flume
weixin_47391932的博客
09-24 346
Flume Flume工具相对来说，比较简单。面试中常问的问题，多为考察Flume的使用，涉及底层原理的考察较少。 1. *Flume组成和事务？ Flume组成为 Source，Channel，Sink，事务包含Put事务，Task事务。 常用的Source，Channel： Taildir Source：断点续传，多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。 File Channel：数据存储在磁盘，宕机数据可以保存。但是传输速率慢。适合对数据传输可靠性要
flume简介
赶路人儿
03-04 925
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统（使用java编写，需要运行在jdk6或以上环境），支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume分为两个主要打 Flume OG:Flume original generation 即Flume 0.9.x版本Flume NG:Flume n
Flume的概念、组成架构及安装部署教程（附安装包下载地址）
攻城狮Kevin
12-11 1149
目录 一、Flume是什么 二、 Flume的组成架构 1. put事务流程 2. take事务流程 3. Flume的组织架构 （1）Agent （2）Source （3）Channel （4）Sink （5）Event 三、Flume的下载与安装 1. Flume官网链接 2.Flume安装包下载地址 3. 安装Flume步骤（以apache-flume-1.7....
Flume学习笔记（一）Flume 组成架构
an_vana的博客
08-08 2956
Flume学习笔记（一）Flume 组成架构 前言 ​ 本文主要记录我在学习 Flume 过程中的一些知识的整理与记录，预计会做成一个系列来梳理一下 Flume 中的知识，本篇的主要内容为 Flume 的组成架构，文中如有疏漏与不足欢迎指正！ 一、Flume 是什么 ​ Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。其可以不断的监听数据源来将新产生的数据搬迁至目标，如将新产生的log 日志数据写入 HDFS。 二、
flume 定义 组成架构 内部原理
qq_43192537的博客
01-03 470
flume 定义 组成架构 内部原理
flume基本架构与相关原理总结
破晓的成长之路
10-06 861
可能说起日志采集，首先想起的便是flume。先来看看flume官网是怎么说的：http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#overview A Flume event is defined as a unit of data flow having a byte payload and an optiona...
大数据技术之Flume
m0_57126939的博客
03-24 652
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume 最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS1. Ganglia由gmond、gmetad和gweb三部分组成。是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用gmond，你可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。整合所有信息，并将其以RRD格式存储至磁盘的服务。
大数据技术之Flume（超级详细）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-02 4805
Flume 是 Apache Software Foundation（ASF）的一个项目，用于高可靠、可扩展的大数据日志收集、聚合和传输。它通常被用于将分布式的、大规模产生的数据从各种源头（如Web服务器、应用程序日志等）采集到数据存储和处理系统（如Hadoop）中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值