Flume:（一）架构及核心组件

最新推荐文章于 2023-04-17 17:40:31 发布

不是咸鱼的鱼

最新推荐文章于 2023-04-17 17:40:31 发布

阅读量179

点赞数

分类专栏： Flume

本文链接：https://blog.youkuaiyun.com/x670667585/article/details/102994437

版权

Flume 专栏收录该内容

4 篇文章

订阅专栏

agent 内包含source、channel、sink

1、Source 收集

2、Channel 聚集

3、Sink 输出

Web Service ===> Source ===> Channel ===> Sink ===> HDFS...

从web服务收集数据到flume，sink到HDFS、Hbase等目的地

Flume支持多个Flume串联起来，可多个sink到一个，也可一个sink到多个

如：A-Flume B-Flume

sink(Avro) ===> (Avro)Source

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

不是咸鱼的鱼

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Flume 三大组件 & 逻辑结构

再见孙悟空

10-22

9956

Flume 主要由三个重要的组件构成： Source ：完成对日志数据的收集，分成transtion 和 even 打入到 channel 中。 Channel ：主要提供一个队列的功能，对 source 提供中的数据进行简单的缓存。 Sink：取出 channel 中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。简单点： Source：收集信息 Channel：传递信息

Flume架构及核心组件

kokopop007的博客

03-26

1308

Flume架构及核心组件 1）Source 收集 2）Channel 聚集 3）Sink 输出 channel相当于一个通道，类似于一个数据的缓存池，提供一个数据临时存放的地方。在操作系统层面，写数据到磁盘，先会把数据写到内存里面，等内存满了之后，才会法内存里的数据flash到磁盘。（这样的好处就是减少直接与磁盘的交互次数，能够提升很大的性能的） flume 把Source手机过来的数据指...

参与评论您还未登录，请先登录后发表或查看评论

Flume 概述 & 架构 & 组件介绍

呼呼的小窝

06-03

2194

01-前置 Sqoop的作用： RDBMS &lt;==&gt; Hadoop (关系型数据库与Hadoop生态圈中的存储框架，结合Sqoop做导入导出操作) 在生产环境上，数据库中的文件是一部分，除此之外的文件与日志才是大头、对我们而言是十分重要的，但是会有如下的问题：文件与日志是无法用Sqoop进行操作的通常日志采集框架有：Flume、Logstash、Beat(这3个都可...

Flume的三大核心组件

简单随风的博客

07-20

7821

Flume的三大核心组件: Source:数据源 Channel:临时存储数据的管道 Sink:目的地接下来具体看一下这三大核心组件都是干什么的 Source Source: 数据源:通过source组件可以指定让Flume读取哪里的数据，然后将数据传递给后面的 channel Flume内置支持读取很多种数据源，基于文件、基于目录、基于TCP\UDP端口、基于HTTP、Kafka的等等、当然了，如果这里面没有你喜欢的，他也是支持自定义的在这我们挑几个常用的看一下: Exec Source:

Flume三大核心组件

qq_40905284的博客

02-26

2091

Flume三大核心组件功能，用法详细介绍

Flume 组件

cs的博客

09-10

620

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，　　并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。　　flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部...

深入理解大数据Flume：核心组件与架构解析

Flume的核心组件是Agent，它是一个运行在Java虚拟机（JVM）上的进程。每个Agent由三个关键部分组成：Source、Channel和Sink。 1. **Source** 是Flume的数据摄入端，负责从各种数据源接收数据。Source支持多种数据源...

深入剖析Flume架构：核心组件与数据传输原理全解

[深入剖析Flume架构：核心组件与数据传输原理全解](https://i0.wp.com/www.nitendratech.com/wp-content/uploads/2020/04/flume_diagram.png?resize=1024%2C384&ssl=1) # 1. Flume简介与应用场景 ## 1.1 Flume的...

详解Apache Flume：架构、应用与调优策略

Flume 的架构由以下几个核心组件组成： - Event：代表数据单元，包含了原始事件和元数据。 - Flow：定义了数据流动的路径，可以包含多个 Source、Channel 和 Sink。 - Client：客户端应用，通常用于启动数据收集任务...

FlumeNG详解：架构与核心特性

这个重构的主要目标是改进代码复杂性、标准化核心组件生命周期、统一配置访问，以及简化常见的数据路径。 **概述** FlumeNG是一个用于收集、聚合和移动大量日志数据的可靠、分布式系统。它是Flume的下一代版本，...

Flume的各种类型的组件介绍

kqixiang945的专栏

10-07

327

1. Source NetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入； type：source的类型，必须是netcat。 bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。 port：绑定的本地的端口。 Avro Source：监听一个a...

Flume各组件总结

qq_43597431的博客

06-14

385

一个Agent主要由三部分组成 Source Channel Sink Source是负责接收数据到Flume Agent的组件。类型如下：avor /thrift /exec /jms /spooling directory /netcat /sequence generator /syslog /http /legacy source Avro source：监听Avro端口和从外部Avro端接收事件流当与上一个flume agent搭配内置Avro sink 可以创建分层集合拓扑。

Flume组件 - Sink

Fishman113的博客

12-15

525

Sink—Event发送主要职责是将Event传输到下一个Agent或最终目的地，成功传输完成将Event从Channel中移除 Logger Sink 记录指定级别（比如INFO，DEBUG，ERROR等）的日志，通常用于调试要求，在 --conf（-c )参数指定的目录下有log4j的配置文件根据设计，logger sink将body内容限制为16字节，从而避免屏幕充斥着过多的内容。如...

Flume中常见的组件

Sun's Blog

10-16

352

netcat source: 类似于netcat的 nc -l 端口号！可以监听某个主机的指定端口收到的消息，将每行消息封装为一个event exec source : 执行一个linux命令，根据命令启动的进程获取进程在标注输出输出的内容，将内容封装为event! 要求进程必须是一个可以持续产生消息的进程，因为一旦进程停止，source就自动停止！ logger sink：多用于调试，可以将event由logger使用info级别，输出到控制台或文件！ hdfs sink：将ev..

Flume核心组件

weixin_43155301的博客

02-27

1253

Flume主要由3个重要的组件构成：Source、Channel、Sink 1）Source：完成对日志数据的收集，分成transtion 和 event 打入到channel之中，Flume提供了各种source的实现，包括Avro Source、 Exce Source、 Spooling、Directory Source、 NetCat Source、 Syslog Source、 Sys...

Hadoop-Flume整理(架构，组件以及三种形式)

qichangjian的博客

02-28

584

一．什么是Flume?（收集日志） Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume支持在日志系统中定制各类数据发送方(console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上)收集数据的...

Flume系列：Flume组件架构

wester的博客

04-17

1135

Flume系列：Flume组件架构

flume常用组件解析

hiscoming的博客

01-13

703

flume常用组件解析flume常用组件解析Avro Source flume常用组件解析 Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具数据流模型 1.Event是Flume定义的一个数据流传输的最小单元。 2.Agent就是一个Flume的实例，本质是一个JVM进程，该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）。 3. 一个完整的Agent中包含了三个组件Source、Channel

【大数据常用组件】Flume组件总结

不会debug的攻城狮

03-15

1921

Flume是一个基于分布式的海量日志采集、聚集、传输系统，在大数据领域中得到广泛使用，主要用于采集源数据，工作于数仓中的ODS层。