浪不虚传

Twitter Stormtwitter storm是twitter的流计算框架。本文简单的介绍该框架。twitter主要包括4个东东Nimbus用户提交一个topology首先是提交给nimbus，nimbus对提交过来的topology开始分配任务，将任务信息写入到zookeeper中。这是主要的工作，还有其他的一些工作，比如定是清理一些jar包，目录什么的。Supervi...

Supervisors: storm集群中supervisor的数目    used slots: 使用了的slots数    free slots: 剩余的slots数    total slots: 总的slots数    Running tasks: 运行的任务数    b. topology summary    Name: topology name    id: topology id (由storm生成)    status: topology的状态，包括(AC

gy： 这个中断指的是在本地目录/STORM_LOCAL_DIR/stormdist下存在，而在ZK目录下/storms/topologyid下不存在的topology的信息。stormdist下存的是topology的一些jar包、配置文件等。这里只清除ZK目录下的不需要的topology的信息，需要删除的ZK的相关目录是/STORM_DIR/tasks/topologyid,  /STORM_DIR/assignments/topologyid2. nimbus还会间隔N

StormStorm的主线主要包括4条：nimbus, supervisor, worker和task。Nimbus要了解nimbus的具体做的操作，可以从提交一个topology的流程开始。1.1  PrepareNimbus启动时候，运行了一个Thrift Server。它会在topology提交之前做以下四个工作。      (1)  清理一些中断了的topolo...

Twitter Storm中Topology的状态状态转换如下,Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。 代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 (defn state-transitions [nimbus storm-id status] {:...

Storm UI本文主要解释下storm ui上各项属性的含义。1. mainpage    首页主要分为3块:    a. Cluster Summary    Nimbus uptime: nimbus的启动时间    Supervisors: storm集群中supervisor的数目    used slots: 使用了的slots数    ...

Nimbus(一) 清理目录Nimbus启动的时候，其实是运行了一个thrift server，它会在topology提交之前，做一些清理一些东东.什么东东？1. 清理中断了的topology： 这个中断指的是在本地目录/STORM_LOCAL_DIR/stormdist下存在，而在ZK目录下/storms/topologyid下不存在的topology的信息。stor...

动时候，运行了一个Thrift Server。它会在topology提交之前做以下四个工作。      (1)  清理一些中断了的topology(nimbus目录下/storm.local.dir/stormdist下存在，zk中            storms/topologyid中不存在的topology): 删除ZK上相关信息(清理tasks/topologyid; storms/topologyid; assignments/topologyid这个三个目录)。      (2)  将