Strom的一些最重要特性

最新推荐文章于 2023-08-15 15:32:29 发布

最新推荐文章于 2023-08-15 15:32:29 发布 · 163 阅读

文章标签：

#storm

Storm 专栏收录该内容

10 篇文章

订阅专栏

Storm作为Twitter开源的实时计算框架，以其简单编程模型、支持多种编程语言、容灾高可用性、支持水平扩展、高可靠性和高效处理能力成为bigdata领域的热点。它使用ZeroMQ作为底层消息队列，确保消息快速处理，并提供本地模式方便测试。本文详细介绍了Storm的主要特性及其在实时数据处理场景中的应用。

Storm作为Twitter开源的实时计算框架, 已经成为big data下一个热点. 下面是一些主要特性:
[list]
[*]简单的编程模型: 类似MapReduce, 不过MR用来降低并行批量处理的复杂性, 而Storm用来简化实时处理模型.
[*]支持多种编程语言: 目前支持Clojure, Java, Ruby, Python
[*]容灾高可用: Strom管理整个worker集群, 允许单节点失败
[*]支持水平扩展:支持多线程, 进程, 服务器平行处理
[*]高可靠:保证消息能被全部处理, 一旦执行任务过程中失败, 能从失败处开始对消息进行回放.
[*]高效:用ZeroMQ作为底层消息队列, 保证消息能快速被处理
[*]支持本地模式:方便本地对Topology进行测试.
[/list]
原文常见[url=http://mdavey.wordpress.com/2012/01/25/anyone-using-storm-in-capital-markets/]这里[/url]