Flume学习笔记之初识（三）

最新推荐文章于 2024-10-20 19:42:16 发布
原创 最新推荐文章于 2024-10-20 19:42:16 发布 · 681 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

本文介绍了SinkProcessor的不同类型及其应用场景。包括DefaultSinkProcessor、FailoverSinkProcessor和LoadbalancingSinkProcessor，并详细解析了每种类型的特性及配置选项。

5 SinkProcessor
SinkProcessor：协同多个sink间进行load balance和fail over

（一）、Default Sink Processor：只有一个sink，无需创建SinkProcessor
不配置时就有，默认的Sink Processor。

（二）、Failover Sink Processor：
这里写图片描述
启动时只启动一个sink，这里优先启k2，一旦k2失败时，启动k1，且k2冷却一段时间。
1. 可定义每个sink的优先级 ，这里先启动k2
2. 可定义失败的sink最大backoff时间

（三）、Load balancing Sink Processor
这里写图片描述
round_robin:使用轮询的方式来顺序使用k1，k2。两个sink交替工作。
random：随机的选择一个来工作，过一段时间后再随机选择一个来工作。
1. selector可选round_robin(默认)或random
2. 可定义对于失败的sink是否backoff
3. 可定义失败的sink最大backoff时间
源码：
FailoverSinkProcessor 和 LoadBalancingSinkProcessor
总结：
思维导图
这里写图片描述

大数据学习笔记46：初识日志收集系统Flume
howard2005的专栏
02-11 789
文章目录一、Flume概述二、两个版本差异1、Flume0.9.x版本2、Flume1.x 版本三、Flume与Scribe对比四、Flume总体架构五、Flume运行机制1、agent的三个核心组件（1）source（源）（2）channel（通道）（3）sink（接收器）2、完整工作流程3、event（事件）六、Flume基本用法1、flume多级流动2、flume数据流合并3、flume数据...
Flume 从0到高手一站式养成记
棒棒编程修炼场
08-07 957
文章目录一、学前必备知识二、极速入门 Flume三、极速上手 Flume 使用3.1 案例：Flume 的 Hello World!3.2 案例：采集文件内容上传至 HDFS3.3 案例：采集网站日志上传至 HDFS四、Flume 高级组件4.1 Source Interceptors4.2 Channel Selectors4.3 Sink Processors4.4 Failover Sink Processor五、Flume 出神入化篇 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初
Flume自定义Source实现循环打印
qq_41458071的博客
06-18 296
public class MySource extends AbstractSource implements Configurable, PollableSource { //前缀参数 private String prefix; //后缀参数 private String suffix; //延时参数 private Long delay; //生成数据参数 private int n; public Status proce...
Flume学习笔记（3）—— Flume 自定义组件
WHY的博客
11-18 1211
本文介绍了flume如何自定义interceptor、source、sink等组件
Flume_Sink
Regan_Hoo的博客
12-06 2145
概述从Flume Agent移除数据并写入到另一个Agent或数据存储或一些其他存储系统的组件被称为sink。Sink不断的轮询channel中的事件且批量的移除它们。这些事件批量写入到存储或索引系统，或者被发送到另一个Flume Agent。Sink是完全事务性的。在从channel批量移除数据之前，每个sink用channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Age
Flume技术原理
曹世宏的博客
11-16 7964
Flume简介 Flume概述： Flume是开源日志系统。是一个分布式、可靠性和高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，FLume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。 Flume是什么？ Flume是流式日志采集工具，FLume提供对数据进行简单处理并且写到各种数据接收方（可定制）的能力，Flume提供从本地文件（s...
（一）Flume概述及快速入门
fseast的博客
09-29 3205
目录一、Flume概述1. Flume定义2. Flume基础架构2.1 Agent2.2 Source2.3 Sink2.4 Channel2.5 Event二、Flume快速入门1. Flume安装部署1.1 安装地址1.2 安装部署2. Flume入门案例2.1 监控端口数据案例 一、Flume概述 1. Flume定义   Flume是Cloudera提供的一个高可用的，高可靠的，分布式的...
大数据新视界 --大数据大厂之大数据实战指南：Apache Flume 数据采集的配置与优化秘籍
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
09-24 4627
本文深入介绍 Apache Flume，涵盖其定义、特点、工作原理、安装部署、配置、高级功能及优化策略。包括自定义拦截器、多 Agent 级联，性能与可靠性优化，经典案例分析，与 Spark、Flink 集成，大规模分布式系统应用，实际问题解决及性能测试等内容。为大数据采集提供全面指导，助力开发者高效利用 Flume 进行数据采集与处理。
Flink学习笔记
君永夜
08-27 1879
前言：Flink是当前主流的实时计算框架，阿里的Blink重构了Flink即能做全量数据的批处理，也能做增量数据的实时处理；大数据的业务数据处理分为两个步骤：全量数据批计算，以及增量数据的实时计算，有时处理的业务逻辑是一致的但是代码确是两套，繁琐；当前主流的大数据实时计算框架有： Spark Streming、Kafka Streaming、Storm、Flink、Blink（阿里双十二的主流实时...
大数据新视界 --大数据大厂之 Ray：分布式机器学习框架的崛起
最新发布
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
10-20 4100
本文全面介绍 Ray 分布式机器学习框架，包括其特点、优势、对人工智能和大数据领域的影响、应用场景、案例分析及未来发展趋势，提供丰富代码示例，为读者提供深入了解 Ray 的参考。
flume介绍与原理
01-27
本文来自于博客园,文章主要从Flume的应用场景以及Flume的结构和组件，简单的介绍了Flume，希望对大家有帮助。flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.1.什么是flume?apacheFlume是一个从可以收集例如
大数据技术之 Flume
曾经蜡笔没有小新
06-18 2418
Flume是什么 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume的组成 Agent主要由:source,channel,sink三个组件组成. Source：从数据发生器接收数据,并将接收的...
大数据技术之Flume
Niklaus的博客
07-08 812
Flume 概述 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写到HDFS中 Flume的版本更新相对稳定： Flume1.0:Flume-ng Flume-ng和Flume-og不兼容。现在开发过程中一般使用的是Flume-ng
大数据之Flume技术详解（一）
white_mvlog的博客
08-29 626
Flume是什么？Flume怎么用？Flume有什么用？大数据之Flume技术详解（一）...
大数据技术之Flume（理论）
愿景.青城雪
09-05 271
一、Flume简介 Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 Flume基于流式架构，容错性强，也很灵活简单。 Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。 二、Flume角色 2.1、Source 用于采集数据，Source是产生数据流的地方，同...
大数据之Flume技术 （2）Flume事物以及内部原理
gebilaozeng的博客
05-21 329
Flume事务  Flume是一个基于流式架构一个日志收集传输系统，内部流式处理框架如下图： Put事务：  (1) doPut：负责将Source拿到得数据上传到临时缓冲区putList中  (2）doCommit：该过程会检查Channel队列得大小是否足够存储putList中得数据，如果空间足够大，则执行doCommit将数据传到Channael;  (3)：doRollback：在步骤(2)当中，如果Channel队列得内存空间不足，则回滚数据; Take事务：  (1) doTake：负责将数据
大数据技术之Flume（超级详细）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-02 4923
Flume 是 Apache Software Foundation（ASF）的一个项目，用于高可靠、可扩展的大数据日志收集、聚合和传输。它通常被用于将分布式的、大规模产生的数据从各种源头（如Web服务器、应用程序日志等）采集到数据存储和处理系统（如Hadoop）中。
Flume进阶
10-11 584
Flume Agent内部原理 1.Source对接数据源，负责封装Event； 2.然后发送给Channel Processor，Channel Processor调用事件拦截器链； 3.将每个事件给Channel Selector事件选择器，选择出要发送的事件； 4.将Channel Selector的结果写入相应的Channel； 5.若多个Sinks组从一个Channel中拉取数据，由SinkProcessor挑选Sinks组中的一个Sink去Channel中读取数据； 即一个时刻只能有
flume自定义组件（source，Interceptor，sink）
Mr.Zheng的博客
03-14 447
Source 原理 每次Agent启动后，会调用PollableSourceRunner.start()，开启一个PollableSourceRunner线程！ 这个线程会初始化PollableSource(可以轮询地去读取数据源中的数据)对象！ ​ PollableSource由所在的PollingRunner线程控制，调用PollableSource的process()方法，来探测是否有新的...
大数据处理工具Flume学习笔记解析
其设计灵感来源于Google的Flume系统，由Apache基金会开发维护，是大数据领域中非常重要的数据采集工具之一。 ### Flume架构与组件 Flume核心由三个主要组件构成：源(Source)、通道(Channel)、和接收器(Sink)。源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值