新节点

转载地址：http://chenlx.blog.51cto.com/4096635/740317在过去的十年里，数据处理发生了革命性的变化。MapReduce，Hadoop，以及相关的技术使我们可以存储和处理以前不可想象规模的数据。很遗憾，这些数据处理系统都不是实时系统，命中注定也不是它们。根本没办法把Hadoop变成一个实时系统；实时数据处理和批处理的许多要求在根本上有很大不同。

作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ 本文翻译自： https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processin

作者: xumingming |可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/ 我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper

作者: xumingming |可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/647/twitter-storm-code-analysis-topology-execution/ 我们通过前面的文章(Twitter Storm源代码分析之ZooKeeper中的目录结构)知道了storm集群里面n

发表于 2011 年 12 月 30 日 由 xumingming作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/410/twitter-storm-code-analysis-acker-merchanism/概述我们知道storm一个很重要的特性是它能够保

原文地址 ：http://blog.youkuaiyun.com/larrylgq/article/details/7230871配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本

原文： http://blog.youkuaiyun.com/larrylgq/article/details/7268218numbusread-storm-config;读取storm配置launch-server!-->validate-distributed-mode!验证是否是集群模式check-storm-active!检查storm状态是否存活(swap! (:submi

流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非常明确的；而流聚合的语义是不明确的并且输入流是无限的。数据流的聚合类型跟具体的应用有关。一些应用把两个流发出

1. Download STORM Release: (https://github.com/nathanmarz/STORM/downloads)  2. Download Twitter4j 2.2.5+ (http://twitter4j.org/en/index.html) 3. Create a New "Java Project" in Eclipse

文章原始地址http://macrochen.iteye.com/blog/1414568      为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪, 这里面涉及到ack/fail的处理, 如果一个tuple处理成功, 会调用spout的ack方法, 如果失败, 会调用fail方法. 而在处理tuple的每一个bolt都会通过OutputCol

作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/727/twitter-storm-code-analysis-tuple-send-proc/ 这篇文章里面我们来看一下Storm里面的tuple到底是如何从一个tuple是怎么从一个bolt到另一个bolt上去的。

文章原始地址 http://chenlx.blog.51cto.com/4096635/739531通过这个入门指南，你将学会如何创建storm拓扑（topology）和部署拓扑到storm集群。主要使用Java语言，少许例子使用Python说明Storm的多语言特性。准备工作入门指南使用了storm-start项目中的例子。建议您克隆此项目并跟随这些例子。阅读

原始出处  http://chenlx.blog.51cto.com/4096635/743630这个页面列出了storm的主要概念和查找更多信息的链接。讨论的概述有：1. 拓扑（Topologies）2. 流（Streams）3. 喷嘴（Spouts）4. 螺栓（Bolts）5. 流分组（Stream groupings）6. 可靠性（

原始出处：http://chenlx.blog.51cto.com/4096635/739445这篇文章列出了storm拓扑中各种各样的常见模式。1. 流连接（Stream join）2. 批处理（Batching）3. BasicBolt4. In-memory缓存 + 字段分组（Fields grouping）组合5. 流动的Top N

1.下载Storm release，解压，把解压后的/bin路径添加到PATH环境变量。2. 为了能启动和停止远程集群上的topologies，需要在~/.storm/storm.yaml设置集群信息。下面是这些步骤的更多细节。什么是开发环境？Storm有两种运行模式：本地模式和远程模式。在本地模式下，你可以在本地机器上完成topologies的开发和测

原始出处 http://chenlx.blog.51cto.com/4096635/743511本地模式用进程模拟一个storm集群，对于开发和测试拓扑比较有用。本地模式运行拓扑和在集群运行拓扑大致相同。简单地使用LocalCluster类，就能创建一个进程内（in-process）集群。例如： import backtype.storm.LocalCluster;

原文：http://www.blogjava.net/killme2008/archive/2011/11/17/364112.html    作者：dennis (killme2008@gmail.com)    转载请注明出处。    最近一直在读twitter开源的这个分布式流计算框架——storm的源码，还是有必要记录下一些比较有意思的地方。我按照storm的主要概念进行组

作者: xumingming文章原始出处: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 本文翻译自: https://github.com/nathanmarz/storm/wiki/Transactional-topologies概述Storm通过保

一个storm topology运行起来之后, 会在supervisor 机器上启动一些进程来运行spout和bolt实例. 如果一个topology里面一共有一个spout, 一个bolt。 其中spout的parallelism是2, bolt的parallelism是4, 那么我们可以把这个topology的总工作量看成是6， 那么一共有6个task，那么/tasks/{topolo

文 / Nathan Marz    译 / 方建  原文地址：http://www.programmer.com.cn/9260/CAP定理是数据系统设计的基本理论，目前几乎所有的数据系统的设计都遵循了这个定理。但CAP定理给目前的数据系统带来了许多复杂的、不可控的问题，使得数据系统的设计越来越复杂。Twitter首席工程师、Storm的作者Nathan Marz在本文中通过