SAN_YUN的专栏

什么是Storm?Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。配置项详解:以下是从storm的backtype.storm.Config类中搜集的所有storm支持的配置项(Based sto...

原文：http://www.michael-noll.com/blog/2013/06/21/understanding-storm-internal-message-buffers/Understanding the Internal Message Buffers of StormJun 21st, 2013 When you are optimizing the per...

http://javanlu.github.io/blog/2013/11/01/getting-started-with-storm-summary-navigation/趁着使用Storm的热情，将 Getting Started With Storm 翻译了一下。本人水平有限，如果对某些概念和原理理解错误，请批评指正，切勿打脸。现将译文汇总：第一章 基础第二章 入门实例...

原文：http://blog.youkuaiyun.com/derekjiang/article/details/9126185 Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理工具很了解的话，那么应该毕竟容易理解Trident，...

Storm 概念梳理刚接触storm，梳理了一些概念性的东西，对于 storm 中提到的一些名词做一些解释，重点在于搞清楚 storm 中很多组件设置的并发度，在实际的运行时是怎么体现出来的，另外对于设置 Stream 和 tuple 的 Grouping 方式相对于已有的文档，做了一些补充，这个对于写程序时设置Topology时会有帮助，有理解的不对的地方，欢迎指正。1. stor...

strom 跑起来还是很容易的，基本之需要两个步骤. 步骤一，编辑conf/storm.yaml：java.library.path: "/usr/local/lib"storm.local.dir: "/duitang/data/storm-data"#storm.zookeeper.servers: - "10.232.68.58"storm.zookeeper.se...

Storm：最火的流式处理框架: http://tech.uc.cn/?p=2159

Trident tutorialTrident is a high-level abstraction for doing realtime computing on top of Storm. It allows you to seamlessly intermix high throughput (millions of messages per second), stateful st...

官方对storm中worker,executor,task讲解非常清楚,https://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology  转载到个人博客上。一图胜千言：  Storm distinguishes between the following three...

随着公司业务的飞速发展，集群规模的逐步扩大，各计算系统，存储系统，应用系统也随着业务的发展，一个接一个的被创造了出来。但集群规模扩大以后， 却带来很多问题，如自动化部署，集群整体利用率偏低等问题也逐步的暴露出来。所以，迫切的需求一套集群资源调度系统来解决这些问题。各大互联网公司也相继 搞出了一些系统，如omega(google),yarn(apache社区，hadooop下面的一个分支，开源)，...

Google I/O大会上,Google宣布使用其google Cloud Dataflow替代原来的MapReduce，很多人误解为MR没有用了，以为MR被新的技术替代，其实并不是这回事。目前大数据处理领域主要有MR代表的批处理和Storm代表的流式实时处理。批处理的缺点是实时性比较差，在Storm作者提出的大数据Lambda架构中，曾经提出近期数据归为Storm来处理，如果超过一定期限由MR...