
storm
文章平均质量分 69
秒速五CM
故我
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Twitter Storm源代码分析之Topology的执行过程
如何提交一个topology? 要提交一个topology给storm的话, 我们在命令行里面是这么做的: 帮助 1 storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3 那么在这个命令的背后,storm集群里面发生了什么呢? stor转载 2014-11-26 22:27:34 · 738 阅读 · 0 评论 -
Storm bolt/spout生命周期
在通过main函数提交topo之前,将storm相关的配置信息通过yaml文件对应类传入到bolt中,在某一个数据库连接池的公共类中同样需要相关的配置信息,因为业务和测试需求的便捷性,便将相关配置也放入了yaml中。起初是在main函数里面进行该公共类的初始化,即将相关的config信息传入,在单bolt的情况下测试没有问题,便发布到服务器并配置多个bolt,由此就引发了一个空指针的异常。 后来原创 2014-11-26 22:15:37 · 2051 阅读 · 0 评论 -
Shell脚本监控Storm集群,邮件报警
用来监控Storm集群,并邮件通知的脚本原创 2015-01-07 18:01:33 · 1246 阅读 · 0 评论 -
Shell脚本监控、拉起Nimbus和Supervisor进程
Nimbus和Supervisor都是快速失败,无状态的进程,Nimbus的单点问题一直没有很好的解决办法,所以我们可以对相关进程进行监控,在其挂掉时尝试重启。 在之前的项目里,比较常用的方式是通过monit对相关进程进行监控,通过monit监控需要对每台机器进行配置,可以通过Fabric(http://www.fabfile.org)进行统一配置,这里不详细介绍monit监控的方式。 通过S原创 2014-12-30 08:36:03 · 2251 阅读 · 0 评论