JStorm源码分析(一)Storm执行脚本

最新推荐文章于 2019-03-01 18:42:51 发布

原创最新推荐文章于 2019-03-01 18:42:51 发布 · 置顶 · 801 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#Storm #JStorm #源码分析 #大数据

大数据同时被 2 个专栏收录

39 篇文章

订阅专栏

大数据框架知识

35 篇文章

订阅专栏

本文详细解析了JStorm中Storm脚本的执行流程，包括如何通过main方法接收参数并调用对应命令，以及如何最终通过操作系统调用完成Topology任务的提交。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

JStorm源码分析(一):Storm执行脚本

JStorm源码分析文件

对于整个JStorm源码分析系列，我将JStorm源码分析的文件放在我的GitHub上JStorm源码剖析,欢迎大家fork和star

storm脚本

Storm脚本是python脚本调用storm脚本时，执行其中的main方法，mian方法源代码如下:

这里写图片描述

main方法中有两个参数: COMMAND = args[0] ARGS = args[1:]

所有的COMMAND: COMMANDS = {

“jar”: jar, “kill”: kill, “shell”: shell, “nimbus”: nimbus, “ui”: ui, “logviewer”: logviewer,

“drpc”: drpc, “supervisor”: supervisor, “localconfvalue”: print_localconfvalue, “remoteconfvalue”: print_remoteconfvalue, “repl”: repl, “classpath”: print_classpath, “activate”: activate, “deactivate”: deactivate, “rebalance”: rebalance, “help”: print_usage, “list”: listtopos, “dev-zookeeper”: dev_zookeeper, “version”: version, “monitor”: monitor

}
执行命令，提交Topology任务到集群: 命令如下:

storm jar WordCount.jar com.stone.WordCountMain wordcount

脚本的执行流程如下:

(1)获得COMMAND = args[0]参数，COMMAND = “jar”

(2)在COMMANDS 中找到对应的命令jar

(3)调用def jar 方法

这里写图片描述

(4)在def jar方法中，调用exec_storm_class

def exec_storm_class(klass,jvmtype="-server",jvmopts=[],extrajars=[],args=[], fork=False):
	globalCONFFILE storm_log_dir=confvalue("storm.log.dir",[CLUSTER_CONF_DIR]
	if(storm_log_dir==Noneorstorm_log_dir=="nil"): storm_log_dir=STORM_DIR+"/logs"
	all_args=[
	JAVA_CMD,jvmtype,get_config_opts(),
	"-Dstorm.home="+STORM_DIR,
	"-Dstorm.log.dir="+storm_log_dir, 
	"-Djava.library.path="+confvalue("java.library.path",extrajars), 
	"-Dstorm.conf.file="+CONFFILE,
	"-cp",get_classpath(extrajars),
	]+jvmopts+[klass]+list(args) print("Running:"+"".join(all_args)) 
if fork:
	os.spawnvp(os.P_WAIT,JAVA_CMD,all_args) 
else:
	os.execvp(JAVA_CMD,all_args)#replacesthecurrentprocessand #neverreturns