乔治大哥的博客

Storm – 流式处理框架 Storm 简介 ——Storm 特征 Storm是个实时的、分布式以及具备高容错的计算系统 Storm进程常驻内存 Storm数据不经过磁盘，在内存中处理 Twitter开源的分布式实时大数据处理框架，最早开源于github 2013年，Storm进入Apache社区进行孵化 2014年9月，晋级成为了Apache顶级项目 官网 http://storm...

一、Storm 计算模型 Topology – DAG有向无环图的实现 对于Storm实时计算逻辑的封装 即，由一系列通过数据流相互关联的Spout、Bolt所组成的拓扑结构 生命周期：此拓扑只要启动就会一直在集群中运行，直到手动将其kill，否则不会终止 （区别于MapReduce当中的Job，MR当中的Job在计算执行完成就会终止） Tuple – 元组 Stream...

Storm 任务提交流程 Storm 本地目录树 Storm Zookeeper目录树

一、环境要求 JDK 1.6+ java -version Python 2.6.6+ python -V ZooKeeper3.4.5+ storm 0.9.4+ -------------------------------------------------------------------- 二、单机模式 上传解压 $ tar xf apache-storm-0.9.4.tar.gz...

一、Storm并发机制 Worker processes Executors (threads) Tasks Worker – 进程 一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology） 这些Worker进程会并行跑在集群中不同的服务器上，即一个Topology拓扑其实是由并行运行在Storm集群中多台服务器上的进程所组成...

消息的完整性 从Spout中发出的Tuple，以及基于他所产生Tuple（例如上个例子当中Spout发出的句子，以及句子当中单词的tuple等） 由这些消息就构成了一棵tuple树 当这棵tuple树发送完成，并且树当中每一条消息都被正确处理，就表明spout发送消息被“完整处理”，即消息的完整性 Acker -- 消息完整性的实现机制 S...