
twitter storm
葑岚
网络广告的精准推荐,海量数据的分布式计算http://weibo.com/larryspace
展开
-
storm+kestrel+zookeeper 部署
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://newyue.blog.51cto.com/174760/737140storm+kestrel+zookeeper环境:2台服务器:192.168.1.166192.168.1.167系统:centos 5.6部署:192.168.1.16转载 2012-02-06 21:57:08 · 3189 阅读 · 0 评论 -
hadoop与storm的一点区别
本文由larrylgq编写,转载请注明出处:http://blog.youkuaiyun.com/larrylgq/article/details/7326058作者:吕桂强邮箱:larry.lv.word@gmail.comhadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中原创 2012-03-06 19:26:55 · 10584 阅读 · 2 评论 -
twitter storm 常见错误-持续更新
1:storm ui上不去,500错误,在ui.log里面是一个TTransportException访问一次就会有一次的错误日志2012-03-06 11:21:46 log [WARN] /org.apache.thrift7.transport.TTransportException原因:访问一个不存在的topo就会出错,把data目录清空了就OK了2:安装后su原创 2012-03-06 11:44:36 · 5241 阅读 · 8 评论 -
深入了解lisp(clojure)-变量
本文由larrylgq编写,转载请注明出处:http://blog.youkuaiyun.com/larrylgq/article/details/7395261作者:吕桂强邮箱:larry.lv.word@gmail.comclojure中变量可以分为词法变量(lexical)和动态变量(dynamic),有点类似于其它语言中的局部变量和全局变量。一个变量是一个不需要声明保存类型的可以保原创 2012-02-29 20:45:08 · 2529 阅读 · 0 评论 -
storm安装实战
安装前检查软件环境确保:java6 SDK以上版本python 2.6以上版本修改每台机器的/et/hosts文件修改:# vi /etc/hosts192.168.1.206 nimbus192.168.1.207 supervisor1192.168.1.208 supervisor2192.168.1.205 supervisor3此处原创 2012-02-21 11:56:04 · 3430 阅读 · 0 评论 -
storm分配topology的关键代码注释
numbusread-storm-config;读取storm配置launch-server!-->validate-distributed-mode!验证是否是集群模式check-storm-active!检查storm状态是否存活(swap! (:submitted-count nimbus) inc)通过swap!方式将nimbus的提交数加一 storm-name+原创 2012-02-17 16:01:38 · 1963 阅读 · 0 评论 -
深入了解lisp(clojure)-宏
本文由larrylgq编写,转载请注明出处:http://blog.youkuaiyun.com/larrylgq/article/details/7395261作者:吕桂强邮箱:larry.lv.word@gmail.comlisp使用特殊操作符来扩展语法,但是在lisp中特殊操作符的数量是固定的,为了解决这个问题lisp引入了宏,宏并不直接做事,而是生成实际的业务代码。宏的求值原创 2012-03-02 19:47:22 · 2585 阅读 · 0 评论 -
java的twitter storm wordcount测试用例
先写个java的,近期会对照实现clojure版的 并提供clojure实现中宏的介绍入口类package jvm.storm.starter;import jvm.storm.starter.wordcount.SplitSentence;import jvm.storm.starter.wordcount.WordCount;import jvm.storm.start原创 2012-01-16 18:47:19 · 4611 阅读 · 1 评论 -
twitter storm常用命令
提交Topologies命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】样例:storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop#提交storm-starter.jar到远程集群,并启动wordcountTop拓扑。停止Topologies命令格式:原创 2012-02-03 11:51:55 · 8557 阅读 · 0 评论 -
twitter storm0.7.0新特性
原文地址:http://groups.google.com/group/storm-user/browse_thread/thread/a9b71e51b6be8f35storm0.7.0使用了备受关注的Transactional topologies,它可以使你的消息在集群上精确的只执行一次,Transactional topologies是强大的,你可以在这里看到详细介绍文档:http翻译 2012-02-10 18:35:08 · 2003 阅读 · 0 评论 -
使用Clojure DSL来写storm
storm 提供一套Clojure DSL来定义spouts,bolts,和topologies。因为Clojure DSL可以调用所有暴露在外的java api,所以如果你是一个clojure开发者,你不用接触java代码就可以编写storm topologys。定义Clojure DSL的代码在backtype.storm.clojure 命名空间下.本文概述了使用Clojure DS翻译 2012-02-27 19:18:10 · 4925 阅读 · 3 评论 -
twitter storm 配置项6.0
配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.modeStorm集群运行模式([distribut原创 2012-02-03 11:48:44 · 2334 阅读 · 0 评论 -
海量数据下的分布式存储与计算
亲,转载请保留以下信息@from : http://blog.youkuaiyun.com/larrylgq/article/details/7851207@author :吕桂强@email; larry.lv.word@gmail.com存储从理论角度提到大数据存储nosql是不得不提的一个部分,CAP,BASE,ACID这些原理在过去的一些年对其有着一定的指导作用(原创 2012-08-10 14:27:56 · 9586 阅读 · 1 评论