flume负载均衡，容错，监控

最新推荐文章于 2022-01-06 16:37:11 发布
原创 最新推荐文章于 2022-01-06 16:37:11 发布 · 847 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume

本文介绍了如何使用Flume进行数据采集的负载均衡和容错配置。通过示例展示了客户端如何配置exec-avro-agent-Load-balance.conf实现数据的轮询分发到两个服务端，确保数据的均衡分布。同时，讨论了服务端的容错机制，通过调整参数实现故障恢复。最后，提到了监控Flume的方案，通过在启动脚本中添加相关命令，可以在特定端口查看数据传输状态。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

串联flume

在这里插入图片描述用avro串联

exec-avro-agent.conf 客户端

#agent
exec-avro-agent.sources = exec-source
exec-avro-agent.channels = memory-channel
exec-avro-agent.sinks = avro-sink

#source
exec-avro-agent.sources.exec-source.type = exec
exec-avro-agent.sources.exec-source.command = tail -F /home/hadoop/app/flume-1.6.0-cdh5.7.1/logs/1.log

#channel
exec-avro-agent.channels.memory-channel.type = memory

#sink
exec-avro-agent.sinks.avro-sink.type = avro
exec-avro-agent.sinks.avro-sink.hostname = localhost
exec-avro-agent.sinks.avro-sink.port = 55555


#bind source and sink to channel
exec-avro-agent.sources.exec-source.channels = memory-channel
exec-avro-agent.sinks.avro-sink.channel = memory-channel

启动脚本

./flume-ng agent --conf /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf --conf-file /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf/exec-avro-agent.conf --name exec-avro-agent -Dflume.root.logger=INFO,console

avro-logger-agent.conf 服务端

#agent
avro-logger-agent-1.sources = avro-source
avro-logger-agent-1.channels = memory-channel
avro-logger-agent-1.sinks = logger-sink

#source
avro-logger-agent-1.sources.avro-source.type = avro
avro-logger-agent-1.sources.avro-source.bind = localhost
avro-logger-agent-1.sources.avro-source.port = 55555

#channel
avro-logger-agent-1.channels.memory-channel.type = memory

#sink
avro-logger-agent-1.sinks.logger-sink.type = logger

#bind source and sink to channel
avro-logger-agent-1.sources.avro-source.channels = memory-channel
avro-logger-agent-1.sinks.logger-sink.channel = memory-channel

启动

./flume-ng agent --conf /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf --conf-file /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf/avro-logger-agent.conf --name avro-logger-agent-1 -Dflume.root.logger=INFO,console

先启动服务端，再启动客户端
往1.log写东西，发现服务端有数据，客户端没数据
在这里插入图片描述

负载均衡

在这里插入图片描述
在这里插入图片描述

客户端

exec-avro-agent-Load-balance.conf

#agent
exec-avro-agent-Load-balance.sources = exec-source
exec-avro-agent-Load-balance.channels = memory-channel
exec-avro-agent-Load-balance.sinks = avro-sink-1 avro-sink-2

#负载平衡
exec-avro-agent-Load-balance.sinkgroups = g1
exec-avro-agent-Load-balance.sinkgroups.g1.sinks = avro-sink-1 avro-sink-2
exec-avro-agent-Load-balance.sinkgroups.g1.processor.type =load_balance
exec-avro-agent-Load-balance.sinkgroups.g1.processor.backoff =true
exec-avro-agent-Load-balance.sinkgroups.g1.processor.selector=round_robin

#source
exec-avro-agent-Load-balance.sources.exec-source.type = exec
exec-avro-agent-Load-balance.sources.exec-source.command = tail -F /home/hadoop/app/flume-1.6.0-cdh5.7.1/logs/1.log

#channel
exec-avro-agent-Load-balance.channels.memory-channel.type = memory

#sink
exec-avro-agent-Load-balance.sinks.avro-sink-1.type = avro
exec-avro-agent-Load-balance.sinks.avro-sink-1.hostname = localhost
exec-avro-agent-Load-balance.sinks.avro-sink-1.port = 55555

exec-avro-agent-Load-balance.sinks.avro-sink-2.type = avro
exec-avro-agent-Load-balance.sinks.avro-sink-2.hostname = localhost
exec-avro-agent-Load-balance.sinks.avro-sink-2.port = 55556

#bind source and sink to channel
exec-avro-agent-Load-balance.sources.exec-source.channels = memory-channel
exec-avro-agent-Load-balance.sinks.avro-sink-1.channel = memory-channel
exec-avro-agent-Load-balance.sinks.avro-sink-2.channel = memory-channel

启动

./flume-ng agent --conf /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf --conf-file /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf/exec-avro-agent-Load-balance.conf --name exec-avro-agent-Load-balance -Dflume.root.logger=INFO,console

两个server端

avro-logger-agent-1.conf

#agent
avro-logger-agent-1.sources = avro-source
avro-logger-agent-1.channels = memory-channel
avro-logger-agent-1.sinks = logger-sink

#source
avro-logger-agent-1.sources.avro-source.type = avro
avro-logger-agent-1.sources.avro-source.bind = localhost
avro-logger-agent-1.sources.avro-source.port = 55555

#channel
avro-logger-agent-1.channels.memory-channel.type = memory

#sink
avro-logger-agent-1.sinks.logger-sink.type = logger

#bind source and sink to channel
avro-logger-agent-1.sources.avro-source.channels = memory-channel
avro-logger-agent-1.sinks.logger-sink.channel = memory-channel

启动

./flume-ng agent --conf /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf --conf-file /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf/avro-logger-agent-1.conf --name avro-logger-agent-1 -Dflume.root.logger=INFO,console

avro-logger-agent-2.conf

#agent
avro-logger-agent-2.sources = avro-source
avro-logger-agent-2.channels = memory-channel
avro-logger-agent-2.sinks = logger-sink

#source
avro-logger-agent-2.sources.avro-source.type = avro
avro-logger-agent-2.sources.avro-source.bind = localhost
avro-logger-agent-2.sources.avro-source.port = 55556

#channel
avro-logger-agent-2.channels.memory-channel.type = memory

#sink
avro-logger-agent-2.sinks.logger-sink.type = logger

#bind source and sink to channel
avro-logger-agent-2.sources.avro-source.channels = memory-channel
avro-logger-agent-2.sinks.logger-sink.channel = memory-channel

启动

./flume-ng agent --conf /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf --conf-file /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf/avro-logger-agent-2.conf --name avro-logger-agent-2 -Dflume.root.logger=INFO,console

先起两个服务端，再起客户端

然后可以看到两个服务端都可以接受数据，总数为log文件的内容，数据分配的策略，就是我们配置的round_robin算法

容错

在这里插入图片描述
在这里插入图片描述 这里的10，5是优先级，越大越优先，maxpenalty是冷却时间上限

可参考http://www.aboutyun.com/thread-9170-1-1.html

监控

在server端启动脚本最后面加上

-Dflume.monitoring.type=http -Dflume.monitoring.port=34545

启动然后可以在网页上34545端看到数据

Flume的负载均衡
weixin_43854618的博客
10-02 861
Flume负载均衡概述 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor能够实现load balance功能，如下图。将Agent1的Event均衡地传输到其他两个Agent2和Agent3上，Event分配的算法有两种，一种是轮询，另一种是随机。 Flume负载均衡实现 使用Flume采集数据，首先要编写配置文件，我这里有三台服务器，所以要配置三个配置文件，但是从图中可以看出，Agent2和Agent3的配置基本一致的，所以
4.flume负载均衡（loadbalance）
飞少fly的博客
05-31 322
master： ]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-client.properties_loadbalance --name a1 -Dflume.root.logger=INFO,console slave1： ]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-server.properties --name a1 -Dflume.root.l
Flume 负载均衡
散步的博客
08-30 1376
负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor能够实现load balance功能，如下图Agent1是一个路由节点，负责将Channel暂存的Event均衡到对应的多个Sink组件上，而每个Sink组件分别连接到一个独立的Agent上，示例配置，如下所示： a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 k3 a1.sinkgroups.g1.proce.
flume负载均衡
xiaoliuxxs
09-12 1826
第五讲
flume-ng负载均衡load-balance、failover集群搭建
热门推荐
lskyne的专栏
07-10 1万+
转自：http://blog.youkuaiyun.com/morning_pig/article/details/9093149 集群采用3台机器： [html] view plaincopy host1 load-balance设置   host2 机器1   host3 机器2   其中，host1 机器配置： [ht
flume 的负载均衡（load-balance）和容错（机制）
zengxianglei的博客--手指星辰 奈何天！
04-13 2105
flume 的负载均衡（load-balance）和容错（机制） 学习前 先了解一下 企业中可能遇见的一个问题：spooldir 监控的目录文件 有重复名的话会报错且罢工！ 在企业中如何控制文件的产生 文件名不同 我们20150109-01.log【我们文件名产生前用时间控制文件名 年月日小时 每一个小时的数据存储在一个文件中。这样就保证了 数据源文件名的不重复。 如何模拟一个不断变化的文件。 ...
3.Flume有哪些容错机制可以防止采集数据数据丢失？
最新发布
07-13
Sink1 & Sink2 --> |负载均衡| CentralAgent[中心Agent] CentralAgent --> |Kafka Channel| HDFSSink[HDFS Sink] HDFSSink --> HDFS[(Hadoop HDFS)] ``` - **边缘层**：File Channel 持久化，防节点宕机[^5]。 - **...
Flume零基础应用实战企业全场景解决方案视频教程
10-21
3.Flume负载均衡 第五章：半小时搞定Flume最难组件 1.拦截器功能及应用场景 2.Timestamp Interceptor 3.Host Interceptor 4.Static Interceptor 5.RegexFilter Interceptor 6.拦截器开发实战 第六章：...
Flume日志收集
01-27
agent和collector由master统一管理，可以有多个master实例，通过ZooKeeper进行协调和负载均衡，避免单点故障。这种设计使得Flume具有很好的可扩展性和可管理性。 3. 可管理性： Flume的master可以监控和管理所有的...
flume1.7.0源码
05-19
Sink Processor 负责管理多个 Sinks，提供诸如负载均衡、故障恢复等功能。常见的 Sink Processor 有 SimpleSinkProcessor（单个 Sink 处理）和 ParallelSinkProcessor（多 Sink 并行处理）。 6. **Source ...
大数据-Flume的负载均衡
逍遥云恋
12-24 514
4. Flume 的负载均衡 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor 能够实现 load balance 功能，如下图Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent 上，示例配置， 如下所示：...
Flume（06）——flume的负载均衡load balancer
Fenggms的博客
10-02 394
负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor 能够实现 load balance 功能。 如图：Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent 上，示例配置，如下所示： 在此处我们同样还是通过三台...
flume的负载均衡，拦截器
bitmao888的博客
04-24 513
文章目录 flume的负载均衡load balancer 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor 能够实现 load balance 功能，如下图Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent...
flume的负载均衡load balancer
努力赚钱就可以住更好的养老院
09-10 477
三台机器规划如下： node01：采集数据，发送到node02和node03机器上去 node02：接收node01的部分数据 node03：接收node01的部分数据 第一步：开发node01服务器的flume配置 cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf vim load_banlancer_client....
flume配置负载均衡
worldchinalee的博客
03-28 1275
集群配置了3台机器，分别为master,slave,slave2ip地址分别为192.168.88.128,192.168.88.129,192.168.88.130其中master的配置为:agent.sources = source1 agent.channels = channel1 agent.sinks = sink1 sink2 agent.sinkgroups = group1 a...
【总结】Flume的负载均衡和故障转移
克里斯的博客
01-06 1326
总结一下在学 Flume的故障转移和负载均衡的知识和经验总结
Flume案例八：负载均衡(Load balancing Sink Processor)
扛麻袋的少年的博客
06-25 627
Flume案例八：负载均衡(Load balancing Sink Processor) 选型：  Flume-1：taildir source + memory channel + avro sink + Load balancing Sink Processor(负载均衡)  Flume-2：avro source + memory channel + logger sink  Flume-3：avro source + memory channel + logger sink
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值