cache007的专栏

分析Storm-zookeeper节点                 ---dxwang应用libra_pagevilewII_1420544958729(storm)在zookeeper上面节点，如下图：节点workerbeats描述：每个topo对应各自worker心跳的详细信息。每个worker心跳的详细信息：心跳内容大概在22K(22942b)，会根据

今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个action disable掉。有两种方法：1.前端增加nginx，做location分析ui页面，对应kill的button，html中的acti

流式统计听着挺容易的一个事情，说到底不就是数数嘛，每个告警系统里基本上都有一个简单的流式统计模块。但是当时基于storm做的时候，这几个问题还是困扰了我很长时间的。没有用过spark streaming/flink，不知道下面这些问题在spark streaming/flink里是不是都已经解决得很好了。时间窗口切分问题做流式统计首要的问题是把一个时间窗口内的数据统计到一起。问题是

Apache storm社区很高兴的宣布版本1.0.0稳定已经发布，可以从the downloads page下载。这个版本是Apache storm演变的一个重要的里程碑，包括大量的新特性，可用性和性能方面的改进，其中一些如下。性能提升该版本主要亮点之一就是性能较之前的版本有一个巨大的性能提升，Apache Storm 1.0 的性能较之前的版本提升16倍，延迟降低了60%。

Storm1.0集群部署部署前准备 下载V1.0.0http://mirrors.cnnic.cn/apache/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gz zookeeper信息192.168.7.108:2181192.168.7.109:2181192.168.7

简介Storm是当前最流行的分布式实时计算平台，使用场景是根据Storm定义的接口规范编写一个实时处理流，然后提交到Storm平台处理，Storm平台解析该处理流，使其并行、分布式地在集群中运行，并附带相应的状态监控。本文主要描述Storm的集群管理这块的内容，处理流的相关接口逻辑规范不作涉及。Storm集群监控管理的目标是管理和监控用户提交的处理流作业（类似于Hadoop监控管理mr-j

目录背景知识序列化中间结果尝试合并中间结果如何使用自定义配置文件？程序部署中的注意事项如何使用日志系统？如何debug？背景知识首先我们需要了解这些背景知识：Basic：I 基本概念II tutorialIII 理解topology的并发性 IV 理解消息完全处理V 创建一个st

Storm拥有低延迟、高性能、分布式、可扩展、容错等特性，可以保证消息不丢失，消息处理严格有序。Storm的主要特点如下所示：简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进 行实时处理的复杂性。可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、 Java、Ruby和Python。要增加对其他语言的支持，只需实现

Storm集群类似于一个Hadoop集群。 然而你在Hadoop的运行“MapReduce job”，在Storm上你运行 “topologies”。 “job”和“topologies”本身有很大的不同，其中一个关键的区别是，MapReduce的工作最终完成，而topologies处理消息永远保持（或直到你杀了它）。Strom集群有主要有两类节点：主节点和工作节点。 主节点上运行一个叫做“Nim

Storm新特性之FluxFlux是Storm版本0.10.0中的新组件，主要目的是为了方便拓扑的开发与部署。原先在开发Storm拓扑的时候整个拓扑的结构都是硬编码写在代码中的，当要对其进行修改时，需要修改代码并重新编译和打包，这是一件繁琐和痛苦的事情，Flux解决了这一问题。特性下面是Flux提供的所有的特性：容易配置和部署拓扑（包括Storm和Trident

StormStorm的主线主要包括4条：nimbus, supervisor, worker和task。Nimbus要了解nimbus的具体做的操作，可以从提交一个topology的流程开始。1.1  PrepareNimbus启动时候，运行了一个Thrift Server。它会在topology提交之前做以下四个工作。      (1)  清理一些中断了的topology

LocalStateA simple, durable, atomic K/V database. *Very inefficient*, should only be used for occasional reads/writes. Every read/write hits disk.基于map实现, 每次读写都需要从磁盘上将数据读出, 并反序列化成map, 这个过程称为sn

一、storm nimbus 单节点问题概述1、storm集群在生产环境部署之后，通常会是如下的结构： 从图中可以看出zookeeper和supervisor都是多节点，任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响，但 nimbus和ui都是单节点 。ui的单节点对系统的稳定运行没有影响，仅提供storm-ui页面展示统计信息。但ni

我们知道，storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互，nimbus通过zookeeper来发布一些指令，supervisor去读zookeeper来执行这些指令，具体nimbus和supervisor在zookeeper上交换了哪些信息可以看一下这篇文章: Twitter Storm源代码分析之ZooKeeper中

一、介绍    Storm的开发语言主要是Java和Clojure，其中Java定义骨架，而Clojure编写核心逻辑。源码统计结果：     180 text files.     177 unique files.                                                 7 files ignored.http://cloc.

问题导读：1.DRPC的作用是什么？2.DRPC工作流是怎样的？3.DRPC分为几部分？4.服务端有几部分组成？1. DRPC介绍1.Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建

Storm中supervisor控制着worker的生命周期，负责worker的启停。前端时间开发类似Storm中这样的一套系统时(worker和storm差别很大)脑裂的问题，supervisor负责启动一个worker，而最后上机器ps看到却有两个相同的worker，这两个相同的worker反复重启导致一堆奇怪的现象。Supervisor与WorkerStorm中，su