
storm
文章平均质量分 84
array020
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Storm的一些通用的Topology的模式
原文地址:http://storm.apache.org/documentation/Common-patterns.html此文档有许明明的翻译:http://xumingming.sinaapp.com/189/twitter-storm-storm%E7%9A%84%E4%B8%80%E4%BA%9B%E5%B8%B8%E8%A7%81%E6%A8%A1%E5%BC%8F/但翻译 2015-01-13 16:22:20 · 4329 阅读 · 0 评论 -
Storm官网上的各公司的使用介绍
其实这些介绍就是第三方使用者写的,比如我是一个使用者,在公司大规模运用Storm后,把使用情况邮件到官方,官方觉得OK了,就搬运过来。原创翻译,如有错误请指出,谢谢。原文链接下面选择一些国内的公司的情况进行介绍(原创翻译,持续更新ing..)淘宝网我们使用Storm来做一些实时的日志统计,从日志中抽取有用的信息。日志是存在一个类似Kafka的持久化消息队列中(MetaQ...2014-12-09 16:48:37 · 774 阅读 · 0 评论 -
【转】基于Trident构建大规模实时流数据处理系统
刊载于程序员杂志2013年2月号大数据处理:批量数据处理和流数据处理Hadoop家族在大数据处理方面的能力已经得到业界认可,但它更适用于对集群上的大数据进行批量处理,并不使用于实时处理大规模流数据。包括雅虎在内的互联网公司都在尝试建立适用于大规模流数据处理的系统,Twitter的Storm就是其中之一。本文将主要介绍Storm Trident以及雅虎如何基于Storm Triden...原创 2014-12-09 16:41:08 · 396 阅读 · 0 评论 -
理解Storm中的拓扑的并发度
原创翻译,如有错误,请指正。原文。一个运行中的拓扑是由什么组成的:worker进程,executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的:Worker进程Executors (线程)Tasks下图简单的展示了它们的关系: 上图中的3段话依次如下:Storm集群中的其中1台机器可能运行着属于...2014-06-06 15:25:53 · 251 阅读 · 0 评论 -
Storm官方文档about页面翻译
原创翻译,如有错误请指出,谢谢。原文链接:http://storm.incubator.apache.org/about/integrates.html 集成Storm可以集成任何队列系统和数据库系统。Storm的spout的抽象使得集成一个新的队列系统变得简单。示例的队列集成包括:KestrelRabbitMQ / AMQPKafkaJMSAmazon...2014-06-06 09:41:49 · 128 阅读 · 0 评论 -
Storm集群搭建与配置指南
系统环境安装环境为GNU/Linux 2.6.32 x64。需要为每台设置好hostname,并在/etc/hosts配置好集群中每台机器的hostname与ip的关系。确认集群里每台机器互相之间都是可以访问的,取消端口的限制。注:以下命令行输入的命令没有加sudo,可自己酌情添加。 Storm集群包含以下组件zookeeper...原创 2014-05-13 16:49:59 · 189 阅读 · 0 评论 -
Storm官网上的各公司的使用介绍
其实这些介绍就是第三方使用者写的,比如我是一个使用者,在公司大规模运用Storm后,把使用情况邮件到官方,官方觉得OK了,就搬运过来。原创翻译,如有错误请指出,谢谢。原文链接下面选择一些国内的公司的情况进行介绍(原创翻译,持续更新ing..)淘宝网我们使用Storm来做一些实时的日志统计,从日志中抽取有用的信息。日志是存在一个类似Kafka的持久化消息队列中(MetaQ,原创 2015-01-04 16:21:01 · 2761 阅读 · 0 评论 -
理解Storm中的拓扑的并发度
原创翻译,如有错误,请指正。原文。一个运行中的拓扑是由什么组成的:worker进程,executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的:Worker进程Executors (线程)Tasks下图简单的展示了它们的关系: 上图中的3段话依次如下:Storm集群中的其中1台机器可能运行着属于多个拓扑原创 2015-01-04 16:17:29 · 2590 阅读 · 1 评论 -
Storm集群搭建与配置指南
系统环境安装环境为GNU/Linux 2.6.32 x64。需要为每台设置好hostname,并在/etc/hosts配置好集群中每台机器的hostname与ip的关系。确认集群里每台机器互相之间都是可以访问的,取消端口的限制。注:以下命令行输入的命令没有加sudo,可自己酌情添加。 Storm集群包含以下组件zookeeper原创 2015-01-04 16:17:18 · 792 阅读 · 0 评论 -
Storm学习资料汇总
电子书 《Getting Started With Storm》介绍了Storm基础API,并发编程网有整本书的翻译 ,此书使用的storm的版本为0.6,虽然从版本上看有些过时,但基础的思想还是没有变的。其中并没有Trident的介绍。有英文电子版。 《Storm Real-Time Processing Cookbook》cookbook的形式,介绍得比较泛,补充着看看就好原创 2015-01-04 16:21:07 · 4676 阅读 · 0 评论 -
【转】基于Trident构建大规模实时流数据处理系统
刊载于程序员杂志2013年2月号大数据处理:批量数据处理和流数据处理Hadoop家族在大数据处理方面的能力已经得到业界认可,但它更适用于对集群上的大数据进行批量处理,并不使用于实时处理大规模流数据。包括雅虎在内的互联网公司都在尝试建立适用于大规模流数据处理的系统,Twitter的Storm就是其中之一。本文将主要介绍Storm Trident以及雅虎如何基于Storm Trident构原创 2015-01-04 16:20:55 · 1459 阅读 · 0 评论 -
Storm官方文档about页面翻译
原创翻译,如有错误请指出,谢谢。原文链接:http://storm.incubator.apache.org/about/integrates.html 集成Storm可以集成任何队列系统和数据库系统。Storm的spout的抽象使得集成一个新的队列系统变得简单。示例的队列集成包括:KestrelRabbitMQ / AMQPKafkaJMSAmazon原创 2015-01-04 16:17:24 · 795 阅读 · 0 评论 -
使用Thrift API监控Storm集群和Topology
如要监控Storm集群和运行在其上的Topology,该如何做呢?Storm已经为你考虑到了,Storm支持Thrift的C/S架构,在部署Nimbus组件的机器上启动一个Thrift Server进程来提供服务,我们可以通过编写一个Thrift Client来请求Thrift Server,来获取你想得到的集群和Topology的相关数据,来接入监控平台,如Zabbix等,我目前使用的就原创 2015-01-14 11:54:21 · 8449 阅读 · 2 评论 -
Storm学习资料汇总
电子书 《Getting Started With Storm》介绍了Storm基础API,并发编程网有整本书的翻译 ,此书使用的storm的版本为0.6,虽然从版本上看有些过时,但基础的思想还是没有变的。其中并没有Trident的介绍。有英文电子版。 《Storm Real-Time Processing Cookbook》cookbook的形式,介绍得比较泛,补充着看看就...2014-12-09 17:00:07 · 243 阅读 · 0 评论