
Jstorm
文章平均质量分 55
Jerry_Fu24
这个作者很懒,什么都没留下…
展开
-
JStorm-2.1.1源码分析--Topology提交(下)
上篇文章已经介绍了ServiceHandler.submitTopologyWithOpts()方法,在该方法中,会实例化一个TopologyAssignEvent,相当于创建了一个topology级别的作业,然后将其保存到TopologyAssign的任务队列中,具体代码如下: TopologyAssign是Jstorm一个任务分配器,它会根据配置和Topology中sp原创 2016-06-10 14:17:06 · 3447 阅读 · 0 评论 -
JStorm-2.1.1源码分析--Topology提交(上)
Topology提交前会先判断集群中是否存在同名作业,如果存在在提交失败,如果没有则会增加集群提交次数SubmittedCount,每次提交成功,该变量都会加1,然后会为该作业分配一个id,生成规则如下: 因此我们从作业id中就可以判断集群作业成功提交次数、提交时间、还有作业名称了,如果我们没有指定acker数量,对topology本身的校验比较细致: 1、原创 2016-06-10 12:39:07 · 1283 阅读 · 0 评论 -
JStorm-2.1.1源码分析--Topology提交(中)
一个topology包含一或多个spout bolt,spout负责在数据源获得数据并发送给bolt,每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的,该组件会记录包含哪些spout bolt,并做相应验证:各组件是否有id冲突,校验方法如下: TopologyBuilder会保存各个组件到相应的数据结构中原创 2016-06-10 11:51:15 · 1738 阅读 · 0 评论 -
JStorm-2.1.1初识及提交同名的Topology
JStorm 是一个分布式实时计算引擎。 JStorm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,JStorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个Worker 发生意外故障, 调度器立即分配一个新的Worker替换这个失效的Worker。 因此,从应用的原创 2016-06-10 11:12:27 · 858 阅读 · 0 评论 -
JStorm/Storm的调试:本地运行模式
最近正在学习使用JStorm,写了一个Topology,将程序打成jar包,提交到JStorm集群运行,但是并没有输出结果,反复检查代码,还是查不出错误,而且每次改正代码之后,都要重新打成jar,上传到集群,很不方便。忽然想到Hadoop有本地运行模式,非常方便调试,于是开始查阅相关资料,一下是我的一些学习成果。Storm运行模式:本地模式(Local Mode): 即To原创 2016-06-23 21:22:20 · 14592 阅读 · 3 评论