lucktroy的专栏

(1) Hadoop论坛：http://www.hadoopor.com/ (2) Hadoop taiwan论坛：http://forum.hadoop.tw/index.php (3) YSmart:An SQL-to-MapReduce Translator  http://ysmart.cse.ohio-state.edu/ (4) Twister: Iterative MapR

1. 必要的安装 sudo apt-get install subversion sudo apt-get install maven sudo apt-get install maven2 sudo apt-get install ivy sudo apt-get install autoconf automake libtool 2. 使用svn下载Hadoop-1.0.2源码

先说下本机系统: Ubuntu 12.04 1. 编译前，需要安装 maven sudo apt-get install maven sudo apt-get install maven2 2. 下载最新的Mahout源码, 链接如下： http://newverhost.com/pub/mahout/0.6/mahout-distribution-0.6-src.tar.gz

最近在写一个程序，其中有一步并非需要用到MapReduce,而是直接对HDFS里面的文件进行操作，查看Hadoop API后，自己写了的测试了下，代码如下。 public int calc_positive_region(Path input_path, Configuration conf) throws Exception { FileSystem fs = FileSystem.

javac -classpath "/home/lucktroy/Program/hadoop-0.20.204.0/hadoop-core-0.20.204.0.jar:/home/lucktroy/Program/hadoop-0.20.204.0/lib/commons-cli-1.2.jar" ./wc0.20/*.java -d . jar -cf ./wc0.20.jar swjtu/

话说用hadoop MapReduce编程有一阵子了，但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。 我本以为Combiner的输入与Mapper的输出一致，Combiner的输出与Reducer的输入一致就可以了，就像图1： 图1 假想 我的程序Mapper输出是; Combiner的输入输出分别是, ; 然后Reducer的输入是<Te

初到美国这边的实验室，老板很爽快的给了个小集群，让我配置下Hadoop. 我很快就答应了. 不过问题也随之而已，其一是给的集群其实就是一远程登录账户，而且没有root权限；其二集群共10个节点，但是共享存储的。本人这方面知识少，找了一个星期资料，才知道是NFS的。 后来找到了一个帖子：《Hadoop - 將Hadoop建構在NFS以及NIF》,受到启发. 不过给的权限确实小，并无root权限