
storm
w13770269691
这个作者很懒,什么都没留下…
展开
-
关于strom
Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。Storm为分布式实时计算提供了一组通用原语,可被用于转载 2014-02-20 14:58:13 · 835 阅读 · 0 评论 -
strom 0.9.1 集群搭建
1、搭建zookeeper 详细见:http://blog.youkuaiyun.com/w13770269691/article/details/250697152、安装nimbus和worker 机器依赖软件jdk1.6、python2.6.6 官方建议安装指定版本,防止出现影响storm工作版本冲突3、下载storm0.91原创 2014-05-22 17:42:29 · 2280 阅读 · 0 评论 -
搭建strom开发环境
什么是开发环境Storm有两种模式:本地模式和远程模式。Storm开发环境就是将所有storm相关的软件安装完毕,可以在storm本地模式下测试storm topology。将一个打包的topology上传到远程集群上,运行或杀死topology。在本地安装storm发布版本为了能够将storm topology从本地提交到远程storm集群,你需要在本地安原创 2014-05-23 17:02:20 · 1456 阅读 · 0 评论 -
在生产环境上运行topology
在生产集群上运行topology跟本地模式差不多。下面是步骤:1)定义topology(如果是java的话, 用TopologyBuilder)2) 使用StormSubmitter来把topology提交到集群。StormSubmitter的参数有:topology的名字,topology的配置对象,以及topology本身。比如:Config conf = new Conf转载 2014-05-23 17:19:35 · 1097 阅读 · 0 评论 -
编译Storm HA版本 -- 解决Nimbus单点问题【非官方版】
前言众所周知,在Storm集群系统中,zookeeper和supervisor都是多节点,任意一个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响,但 nimbus和ui都是单节点 。ui的单节点对系统的稳定运行没有影响,仅提供storm-ui页面展示统计信息。但nimbus承载了集群的许多工作,如果nimbus单节点宕机,将会使系统整体的稳定运转载 2014-08-19 10:05:45 · 4658 阅读 · 1 评论 -
storm 启动异常 Error when processing event
因为电脑断电,没有正常退出storm引起的错误。12013-06-13 14:11:29 event [ERROR] Error when processing event2java.lang.RuntimeException: java.io.EOFException原创 2014-08-21 17:36:02 · 5972 阅读 · 0 评论 -
第一个Storm应用
在全面介绍Storm之前,我们先通过一个简单的Demo让大家整体感受一下什么是Storm。Storm运行模式:本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个模式中,Storm的所有组件都转载 2014-09-01 16:54:08 · 11359 阅读 · 2 评论