
storm
豹先生_MR-BAO
做中国云计算导航人~~~~~
展开
-
Twitter Storm 实时数据处理框架分析总结
Twitter Storm 实时数据处理框架分析总结 Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架(原来是由BackType开发,后BackType被Twitter收购,将Storm作为Twitter的实时数据分析)。实时数据处理的应用场景很广泛,如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初创建S4项目的直接业务需求就是为了在转载 2013-02-08 10:43:07 · 1061 阅读 · 0 评论 -
Twitter Storm入门
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/138/twitter-storm入门/ 本文翻译自: https://github.com/nathanmarz/storm/wiki/Tutorial在这个教程里面我们将学习如何创建Topologies,转载 2013-02-08 10:44:24 · 844 阅读 · 0 评论 -
Storm搭建、安装、以及环境配置
准备工作: 1. 首先安装zookeeper,然后验证zookeeper正确性: bin/zkCli.sh -server 127.0.0.1:2181 2.安装kafkaDownload a recent stable release.> tar xzf kafka-.tgz> cd kafka-> ./sbt update> ./sbt pack转载 2013-02-08 10:45:25 · 1158 阅读 · 0 评论 -
centos的twitter storm安装和storm-start的本地运行
这里介绍一下storm的基本安装和不用lein的storm-starter运行方法。一. Storm及相关软件安装1. 安装python2.7.2============================# wgethttp://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz# tar zxvf Python-2.7.2.转载 2013-02-08 10:47:48 · 960 阅读 · 0 评论 -
淘宝大数据产品解析之基于storm引擎的虫洞系统
虫洞系统是吸星大法项目衍生出来实时计算的基础平台。解析:虫洞系统是基于storm为基础的项目,牵扯到了淘宝自己的应用组件跟storm的整合,应用于实时计算领域这是独立于云梯的另一个大的平台系统,并且方向不同,在这做个简单的应用场景分析虫洞:实时计算,比如当天的流量分析、活动分析、个性化推荐对实时性要求比较高的需求云梯:离线分析,主要应用于离线数据统计,数据挖掘,并且很多分析数据是要原创 2013-04-13 17:03:10 · 2222 阅读 · 0 评论 -
Finagle:一个支持多协议的RPC系统
Finagle是一个协议不可知的,异步的,用于 JVM 的 RPC 系统,它使得在 Java、Scala 或任何基于JVM 的语言重构建鲁棒的客户端和服务器非常容易。在 Twitter.com上面即使是渲染最简单的网页也需要十多个说着不同协议的网络服务的合作。比如,为了渲染首页,应用程序需要向社交网络图(SocialGraph)服务、Memcached、数据库、以及许多其它网络服务发出转载 2013-10-28 15:45:39 · 1556 阅读 · 0 评论 -
Twitter研发人员John Oskasson分析Twitter后台软件栈
Twitter研发人员John Oskasson分析Twitter后台软件栈作者 郑柯 发布于 二月 12, 2013 | 讨论 新浪微博腾讯微博 豆瓣网 Twitter Facebook linkedin 邮件分享 更多 19稍后阅读我的阅读清单John Oskarsson是Twitter的一名研发人员。最近,他撰写的一篇博客中提到转载 2013-10-28 15:54:16 · 1208 阅读 · 0 评论