glowd的专栏

转自 http://www.cnblogs.com/Jack47/p/guaranteeing-message-processing-in-storm.html内容简介 Storm可以保证从Spout发出的每个消息都能被完全处理。Storm的可靠性机制是完全分布式的(distributed)，可伸缩的(scalable)，容错的(fault-tolerant)。本文介绍了Storm如何保证可靠性以http://wr

Jstorm 是由Storm演化而来，在架构和实现上都有很大的相似度，并且沿用了Storm的编程接口，Storm的程序在很多版本上，可以无缝迁移到Jstorm。整体上说，Jstorm更稳定，灵活性更高，性能更高。

Cgroupscgroups是control groups的缩写，是Linux内核提供的一种可以限制, 记录, 隔离进程组(process groups)所使用的物理资源(如：cpu,memory,IO 等等)的机制。Jstorm 使用 Cgroups在Jstorm中，我们使用cgroup进行cpu硬件资源的管理。使用前，需要做如下检查和配置。检查/etc/passwd 文件中当前用户的uid和g

背景限流控制，又称 反压 （backpressure）， 这个概念现在在大数据中非常火爆， 尤其是最近Heron/Spark都实现了这个功能。其实在jstorm 0.9.0 时，底层netty的同步模式，即可做到限流控制， 即当接收端能处理多少tuple， 发送端才能发送多少tuple， 但随着大面积使用， 发现netty的同步模式会存在死锁问题， 故这种方式并没有被大量使用。原理后来自2015年6

jstorm运维经验

调度细则任务调度算法以worker为维度；调度过程中正在进行的调度动作不会对已发生的调度动作产生影响；调度过程中用户可以自定义 useDefined Assignment，和使用已有的old Assignment，这两者的优先级是：useDefined Assignment>old Assignment;用户可以设置task.on.differ.node参数，强制要求同组件的task分布到不

我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。 在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。 在使用BaseRichBolt需要在emit数据的时候，显示指定该数据的源tuple要加上

本质基于消息的流水线处理模型是一套类似MapReduce一样的编程模型内核是一套调度系统适合的业务高并发的计算任务数据流之间相互无依赖编程模型Topology：即一个数据流的拓扑结构，包含多个Spout和BoltSpout：从外部获取数据，包含DB，Hbase，Kafka等Bolt ：计算单元，系统内计算流转数据 角色Nimbus： 资源调度角色，可主备Supervisor：

整体架构深度基于Zookeeper的调度系统。Jstorm ZK路径。Jstorm 本地路径

JStorm 是一个分布式实时计算引擎JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，JStorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个Worker 发生意外故障， 调度器立即分配一个新的Worker替换这个失效的Worker,来保证可靠性。因此，从应用的角度，JStorm应用是一种遵守某

转自http://blog.youkuaiyun.com/wust__wangfan/article/details/50517554例子一：模拟网站计算用户PV(页面浏览量) 拓扑图如下：1、编写Topology [java] view plain copy 在CODE上查看代码片派生到我的代码片 public class TopoMain { public static void m

推荐一个worker运行2个task减少拓扑层数，随着拓扑层数的增加，系统吞吐率下降，同时CPU利用率一直在上升，网络带宽未达到极限；最好设置topology.max.spout.pending，这样可以避免长时间的响应，以及抖动。设置topology.max.spout.pending=5000;可以根据系统性能增减在jstorm中， spout中nextTuple和ack/fail运行在不