Flume源码阅读记录(2)flume启动过程

最新推荐文章于 2021-08-24 14:24:31 发布

SW_LCC

最新推荐文章于 2021-08-24 14:24:31 发布

阅读量245

点赞数

分类专栏： flume

本文链接：https://blog.youkuaiyun.com/SW_LCC/article/details/94195785

版权

本文记录了Flume的启动过程，通过bin/flume-ng agent命令启动，并详细解释了flume-ng脚本的作用，包括FLUME_AGENT_CLASS的设置，以及如何通过add_hadoop_paths等函数引入依赖库。此外，提到了根据是否使用avro-client来决定程序的入口类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume-ng 启动

当flume配置好后，使用 bin/flume-ng agent -n agent -c conf -f conf/flume-demo.conf -Dflume.root.logger=INFO,console ，即可利用flume-ng脚本以及传入的各参数启动flume服务。

flume-ng脚本

在这里插入图片描述
在这里注意，FLUME_AGENT_CLASS=“org.apache.flume.node.Application”

run_flume()函数，启动FLUME进程。

add_hadoop_paths
add_hbase_paths
add_hive_paths
引入当前flume所在机器环境上的hadoop,hbase,hive的lib包。

在这里插入图片描述
以上是各类启动参数。

当启动命令里用了avro-client时，则可看出程序入口类是
org.apache.flume.client.avro.AvroCLIClient
当没有使用avro-client
则flume程序的入口类是
org.apache.flume.node.Application