Flume采用zookeeper管理配置

最新推荐文章于 2024-01-21 21:46:45 发布

原创

最新推荐文章于 2024-01-21 21:46:45 发布 · 1w 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Flume+zookeeper

这篇博客介绍了如何使用Zookeeper来管理Flume Agent的配置，强调了这是一个实验性功能。文章详细阐述了不同配置提供类的工作原理，如PollingZooKeeperConfigurationProvider会在Zookeeper配置变化时重新加载，而StaticZooKeeperConfigurationProvider则不会。同时，Flume依赖Curator作为Zookeeper的客户端，简化了开发过程。最后，展示了如何配置和启动Flume以使用Zookeeper中的配置，并提及当Zookeeper中的配置更新时，Flume如何自动刷新。

Flume支持通过zookeeper来管理Agent的配置，但是这是一个实验性的功能。配置文件必须先上传到zookeeper中。以下Agent在Zookeeper节点树的结构：

- /flume
 |- /a1 [Agent配置文件]
 |- /a2 [Agent配置文件]

处理配置文件的类：

org.apache.flume.node.PollingZooKeeperConfigurationProvider ：如果zookeeper指定的路径有变更，就从Zookeeper重新获取配置文件。
org.apache.flume.node.StaticZooKeeperConfigurationProvider ：启动Flume后，不会重新加载配置文件，即使Zookeeper的配置文件有变更。
org.apache.flume.agent.embedded.MemoryConfigurationProvider ：从存储中读取配置文件。传入数据格式是Map。
org.apache.flume.node.PollingPropertiesFileConfigurationProvider ：定时冲硬盘读取配置文件。

org.apache.flume.node.AbstractZooKeeperConfigurationProvider创建Zookeeper客户端：