Flume 总结（八）sink processor类型-1.9.0新版

最新推荐文章于 2024-12-23 11:51:05 发布
原创 最新推荐文章于 2024-12-23 11:51:05 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume #cloudera #大数据 #分布式

本文总结了Flume 1.9.0版本中的Sink Processor类型，包括Default Sink Processor和Failover Sink Processor。Failover Processor用于构建高可用的Flume代理网络，当高优先级sink发送失败时，低优先级sink接管。而Load Balancing Sink Processor则实现数据在多个sink间的轮转分布，支持round-robin和random策略。

Flume 总结（八）sink processor类型-1.9.0新版

1. sink processor

在这里插入图片描述

  1. Default Sink Processor
    在这里插入图片描述
  2. Failover Sink Processor
    在这里插入图片描述

使用这个结合agent级联，可以搭建高可用HA agen网络
一组中只有优先级高的那个sink在工作，另一个是等待中
如果高优先级的sink发送数据失败，则专用低优先级的sink去工作！并且，在配置时间penalty之后，还会尝试用高优先级的去发送数据！

  1. Load balancing Sink Processor
    在这里插入图片描述

允许channel中的数据在一组sink中的多个sink之间进行轮转，策略有：

最低0.47元/天 解锁文章
Flume【使用篇】07：Sink Processors 之 负载均衡
weixin_40612128的博客
03-04 824
Sink Processors 之 负载均衡
Flume【使用篇】08：Failover Sink Processor 【故障转移】
weixin_40612128的博客
03-04 485
Failover Sink Processor 【故障转移】
Flume(二十四)Sink Processor
技术博客
08-08 1229
Sink Processor是将一个或者多个Sink绑定到一个组中，针对一个组中的Sink来进行整体的操作。Sink Processor本质上就是Sink Group，是将一个或者多个Sink绑定到一个组中来使用,是Flume用于实现失败恢复和负载均衡的组件。在企业级开发中，通常有多个客户端Agent来收集数据，发送给中心服务器Agent，中心服务器Agent要承载若干客户端Agent发送的数据，负载较高，且中心服务器Agent如果只有一个，会造成单节点故障风险。
Flume--failover sink processor
tianqinglei的博客
08-30 1130
failover sink processor根据优先级从sink组中选择宿。具有最高优先级的接收器将写入数据直到其失败（接收器的故障甚至可能是因为下游代理在RPC陷阱的情况下死亡），然后选择组中其他接收器中具有最高优先级的接收器。选择不同的接收器才能在当前接收器写入数据失败时写入数据。这确保了当没有故障时，第二层上的所有代理都有一个从每个机器写入的接收器，并且只有在某些机器看到更多的传入数据时才
Flume：3.输出模式处理器【sink-processor】
zeng255938的博客
08-25 460
Flume配置的三个“器”： 1.消息源拦截器【source-Interceptor】 2.通道选择器【source-selector】 3.输出模式处理器【sink-processor】（本文） #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 k2 ## ------------------...
Flume Sink Processor
happy19870612's blog
11-21 1019
SinkGroup允许组织多个sink到一个实体上。SinkProcessors 能够提供在组内所有sink之间实现负载均衡的能力。而且在失败的情况下能够进行故障转移。 sinks： 空格分隔的多个sink processor.type:default|failover|load_balance 一 DefaultSink Processor 只允许接收单个sink,不强制用户为sink创
Flume日志采集系统的部署和使用
2301_80956509的博客
12-23 966
掌握Flume的安装与配置：学习如何在CentOS上安装和配置Apache Flume环境。 熟悉Flume的数据流模型：理解Flume的Source、Channel、Sink组件及其数据流模型。
flume日志采集,hbase数据存储,hive查询输出（简单集成）
CaBCo的博客
12-23 886
本文简要介绍用flume做日志采集，然后用hbase做数据存储，最后通过hive查询数据输出文件的一种过程模式。 流程如下图： 假定：mysql已安装并启动，hadoop及zookeeper集群已安装部署并启动。 一、flume 日志采集 1. flume分布式安装（略） 本文采用apache-flume-1.9.0，一主两从搭建，通过负载均衡方式将采集到的日志输入hbase存储 ...
flume的SinkProcessor
qq_43662627的博客
10-13 487
-----------------------hadoop01--agent1------------------ #a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔 a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 #a1.sinkgroups.g1.processor.type = failover #a1.sink
【Flume】高级组件之Sink Processors及项目实践（Sink负载均衡和故障转移）
ccql's Blog
06-22 2021
Sink Processors类型包括这三种：Default Sink Processor、Load balancing Sink Processor和Failover Sink Processor。Default Sink Processor是默认的，不用配置Sink group，就是咱们现在使用的这种最普通的形式，一个Channel后面接一个Sink的形式；
Flume Processors
sunwenxu的博客
07-16 675
Processor概述 Processor是Flume用于实现失败恢复和负载均衡的组件。 在企业级开发中，通常有多个客户端Agent来收集数据，发送给中心服务器Agent，中心服务器Agent要承载若干客户端Agent发送的数据，负载较高，且中心服务器Agent如果只有一个，会造成单节点故障风险。 所以在企业级开发中，中心服务器Agent往往不止一个，由若干个协同工作，此时客户端Agent如何分...
flume sink processor
weixin_30757793的博客
07-05 208
sink groups使多个不同的sink组成一个整体，而sink processor提供了组内负载均衡和故障转移的功能。 有三种sink processor :default sink processor,failover sink processor,Load balancing Sink Processor。 default sink processor 一般的单独的sink fai...
Flume NG 学习笔记（七）Sink Processors（故障转移与负载均衡）测试
顾晓艳的专栏
10-29 9078
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 简单的说就是一个source 对应一个Sinkgroups，即多个sink,这里实际上与第六节的复用/复制情况差不多，只是这里考虑的是可靠性与性能，即故障转移与负载均衡的设置。 下面是官方配
flume源码分析-SinkProcessor
fannk的博客
07-14 486
flume包括三种sink processor，DefaultSinkProcessor，FailoverSinkProcessor，LoadBalancingSinkProcessor   Default sink processor that only accepts a single sink, passing on process results without any additi...
【大数据学习 | flume】flume Sink Processors与拦截器Interceptor
2301_80912559的博客
11-16 1340
比如：一个日志文件(多个系统的日志都在该文件中)，根据日志中某个字段值，比如type=1，是系统A日志，sink to hdfs；type=2，是系统B日志，sink to kafka，此时就可以使用Flume多路复用，通过event header 来决定传输到哪个Channel。拦截器可以将flume收集到的event进行拦截，并使用对应的拦截器，对event进行简单修改，过滤。故障转移处理器可以同时指定多个sink输出，按照优先级高低进行数据的分发，并具有故障转移能力。当前实现不允许同时指定多个标头。
flume源码学习7-SinkProcessor相关类
weixin_34270606的博客
03-03 190
org.apache.flume.SinkProcessor 扩展了LifecycleAware, Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner对象抽象方法：process 和Sink 的process方法类似（内部实现增加了选择Sink的功能）setSinks 设置sinks具体实现类：org.apach...
flume五：flume Processors介绍
licw_0909的博客
12-18 444
目前flume支持default, failover or load_balance三种Processors。 Failover Sink Processor： a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 a1.sinkgroups.g1.processor.type = failover a1.sinkgroups.g1.
Flume组件——grouping processor(failover sink processor—实现级联模式下的高可用)
LOGAN'S BLOG
10-08 427
Flume中有多个组件，其中最重要的一个组件就是grouping processor / sink processor sink process
09_Flume之Sink的Processors
weixin_40727028的博客
04-15 253
当被选择器被调用的时候，它不会屏蔽故障的sink，继续尝试访问每一个可用的sink，如果所有的sink都故障了，选择器则无法给sink传播数据。如果backoff被开启，则sink processor会屏蔽故障的sink，选择器会在一个给定的超时时间内移除它们，当超时时间完毕后，sink还是无法访问，则超时时间以指数方式增长。Sink Processors可以使在Sink Group中所有sink具有负载均衡的能力，或者在一个sink失效后切换到另一个sink的fail over模式。
[root@hadoop01 opt]# cp apache-flume-1.9.0-bin apache-flume-1.9.0 cp: omitting directory ‘apache-flume-1.9.0-bin’
最新发布
12-22
我们遇到了使用`cp`命令复制目录时出现`cp: omitting directory 'apache-flume-1.9.0-bin'`的错误。这个错误的原因是`cp`命令在复制目录时需要指定递归选项`-r`（或`-R`）来复制整个目录及其内容。 ### 解决方法 要...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值