【flume】flume 的负载均衡 load-balance、容错 failover

最新推荐文章于 2024-06-03 17:11:45 发布

废物点心777

最新推荐文章于 2024-06-03 17:11:45 发布

阅读量592

点赞数

分类专栏： flume 文章标签： flume 分布式 hadoop 大数据

本文链接：https://blog.youkuaiyun.com/weixin_45783164/article/details/105492366

版权

本文介绍了Flume在集群环境中的负载均衡和容错配置。负载均衡使用Load balancing Sink Processor，通过轮询、随机或权重策略将Event分散到多个Sink。容错机制则采用Failover Sink Processor，当某个Sink故障时，Event会自动转移到优先级高的其他Sink，避免单点故障。配置中，建议优先启动远离数据源的Agent。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言

之前的conf主要是单机的flume部署操作，这篇讲下集群的flume部署操作，可以先看前两篇。集群

load-balance负载均衡

介绍

负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。

Load balancing Sink Processor 能够实现 load balance 功能，如下图Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent 上
在这里插入图片描述

负载均衡（load_balance）用于解决一个人干活处理不了多个一起来处理，然后如何分配的问题

轮询（round_robin）随机（random）权重

配置

Agent1：在我的had-node2上

cd flume/conf

vi exec-avro.conf

#agent1 name
agent1.channels = c1
agent1.sources = r1
agent1.sinks = k1 k2
#set gruop
agent1.sinkgroups = g1
#set channel
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 1000
agent1.channels.c1.transactionCapacity = 100
agent1.sources.r1.channels = c1
agent1.sources.r1.type = exec
agent1.sources.r1.command = tail -F /root/logs/123.log
# set sink1
agent1.sinks.k1.channel = c1
agent1.sinks.k1.type = avro
agent1.sinks.k1.hostname = node-2
agent1.sinks.k1.port = 52020
# set sink2
agent1.sinks.k2.channel = c1
agent1.sinks.k2.type = avro
agent1.sinks.k2.hostname = node-3
agent1.sinks.k2.port = 52020
#set s