Flume采用zookeeper管理配置

Flume与Zookeeper配置管理实战
这篇博客介绍了如何使用Zookeeper来管理Flume Agent的配置,强调了这是一个实验性功能。文章详细阐述了不同配置提供类的工作原理,如PollingZooKeeperConfigurationProvider会在Zookeeper配置变化时重新加载,而StaticZooKeeperConfigurationProvider则不会。同时,Flume依赖Curator作为Zookeeper的客户端,简化了开发过程。最后,展示了如何配置和启动Flume以使用Zookeeper中的配置,并提及当Zookeeper中的配置更新时,Flume如何自动刷新。

Flume支持通过zookeeper来管理Agent的配置,但是这是一个实验性的功能。配置文件必须先上传到zookeeper中。以下Agent在Zookeeper节点树的结构:

 

- /flume
 |- /a1 [Agent配置文件]
 |- /a2 [Agent配置文件]

处理配置文件的类:

 

 

org.apache.flume.node.PollingZooKeeperConfigurationProvider : 如果zookeeper指定的路径有变更,就从Zookeeper重新获取配置文件。
org.apache.flume.node.StaticZooKeeperConfigurationProvider : 启动Flume后,不会重新加载配置文件,即使Zookeeper的配置文件有变更。
org.apache.flume.agent.embedded.MemoryConfigurationProvider : 从存储中读取配置文件。传入数据格式是Map。
org.apache.flume.node.PollingPropertiesFileConfigurationProvider : 定时冲硬盘读取配置文件。

 

 

org.apache.flume.node.AbstractZooKeeperConfigurationProvider创建Zookeeper客户端:

 

  protected CuratorFramewo
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值