lucktroy的专栏

一、简介：1、Phoenix是在共享内存的体系结构上的MapReduce实现。它的目标是在多核平台上，使程序执行得更高效，而且使程序员不必关心并发的管理。事实上并发管理，尽管是经验丰富的程序员，也难免在这上面出错。2、Phoenix由一组对程序应用开发者开放的简单API和一个高效的运行时组成。运行时系统处理程序的并发、资源管理和错误修复， 它的实现是建立在P-thread之上的，当然也

(1) Hadoop论坛：http://www.hadoopor.com/(2) Hadoop taiwan论坛：http://forum.hadoop.tw/index.php(3) YSmart:An SQL-to-MapReduce Translator  http://ysmart.cse.ohio-state.edu/(4) Twister: Iterative MapR

javac -classpath "/home/lucktroy/Program/hadoop-0.20.204.0/hadoop-core-0.20.204.0.jar:/home/lucktroy/Program/hadoop-0.20.204.0/lib/commons-cli-1.2.jar" ./wc0.20/*.java -d .jar -cf ./wc0.20.jar swjtu/

话说用hadoop MapReduce编程有一阵子了，但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。我本以为Combiner的输入与Mapper的输出一致，Combiner的输出与Reducer的输入一致就可以了，就像图1：图1 假想我的程序Mapper输出是; Combiner的输入输出分别是, ; 然后Reducer的输入是<Te

系统：KUbuntu11.04调试错误：g++ -g -Wall -O3 -D_LINUX_ -DMMAP_POPULATE -fstrict-aliasing -Wstrict-aliasing -D__x86_64__ -c word_count.cpp -o word_count.o -I../../includeIn file included from ../../

Twister是一个由美国印第安纳大学开发的、轻量级的、Iterative MapReduce运行时系统 ，利用流处理技术为MapReduce,，尤其是迭代式的MapReduce任务提供高效的计算框架。与典型的MapReduce集群设计不同,，Twister没有底层的分布式文件系统,，而是采用网络信息传递来实现所用通讯和数据传输。它的数据传输不需要经过额外的磁盘读写,，这就给性能带来了极大的提升空

How to install Twister: See the link http://www.iterativemapreduce.org/userguide.html TwisterSetting:Set the nodes that will be used in bin/nodes(ex. Gpu01) Set ActiveMQ in bin/amq.propert

1. 启动ActiveMQ和Twister. 安装过程可以参考博文《Twister编译及安装 [多节点方式]》.1.1 启动ActiveMQ[lucktroy@node03 apache-activemq-5.4.2]$ bin/activemq console1.2 启动Twister[lucktroy@node03 bin]$ ./start_twister.sh2

注：该流程也适用单节点模式, 设置ip及工作节点的时候设置本节点即可.1. Twister设置1.1 设置Twister路径，编辑~/.bashrc [注: 最好是这个文件，本人也试过在.bash_profile, 但之后运行就出错了，不知道为什么！]export TWISTER_HOME =/home/username/TWISTER1.2 编辑Twster/bin/twis