
Twister
文章平均质量分 63
lucktroy
这个作者很懒,什么都没留下…
展开
-
Iterative MapReduce - Twister简介
Twister是一个由美国印第安纳大学开发的、轻量级的、Iterative MapReduce运行时系统 ,利用流处理技术为MapReduce,,尤其是迭代式的MapReduce任务提供高效的计算框架。与典型的MapReduce集群设计不同,,Twister没有底层的分布式文件系统,,而是采用网络信息传递来实现所用通讯和数据传输。它的数据传输不需要经过额外的磁盘读写,,这就给性能带来了极大的提升空原创 2013-04-06 00:14:32 · 2101 阅读 · 0 评论 -
Twister安装/调试
How to install Twister: See the link http://www.iterativemapreduce.org/userguide.html TwisterSetting:Set the nodes that will be used in bin/nodes(ex. Gpu01) Set ActiveMQ in bin/amq.propert原创 2012-03-26 23:27:27 · 1532 阅读 · 0 评论 -
Twister之WordCount实例分析
1. 启动ActiveMQ和Twister. 安装过程可以参考博文《Twister编译及安装 [多节点方式]》.1.1 启动ActiveMQ[lucktroy@node03 apache-activemq-5.4.2]$ bin/activemq console1.2 启动Twister[lucktroy@node03 bin]$ ./start_twister.sh2原创 2013-04-06 13:27:47 · 1297 阅读 · 0 评论 -
Twister编译及安装 [多节点方式]
注:该流程也适用单节点模式, 设置ip及工作节点的时候设置本节点即可.1. Twister设置1.1 设置Twister路径,编辑~/.bashrc [注: 最好是这个文件,本人也试过在.bash_profile, 但之后运行就出错了,不知道为什么!]export TWISTER_HOME =/home/username/TWISTER1.2 编辑Twster/bin/twis原创 2013-04-05 22:39:08 · 2228 阅读 · 2 评论