sulliy的专栏

安装环境OS：Ubuntu Linux 8.0Java：sun-java 1.6.0.20Hadoop：hadoop-0.20.2安装Hadoop之前需要做一些准备工作，系统应该先安装Java和SSH，并且保证sshd一直运行，以便使用Hadoop脚本管理器远端访问Hadoop守护进程。 第一步：安装SSH使用OpenSSH，在配置好源的情况下，输入如下命令：sud

前面讲到在集群模式时，submitJob将调用JobTracker的submitJob。JobTracker.submitJob()启动一个新的Job。该函数内部创建一个JobInProgress对象，它包含JobProfile和JobStatus两个对象。JobProfile的成员是MapReduce的一些属性信息。String user;  final JobID jobi

有很多介绍Hadoop的资源，Hadoop自动的Doc文件夹中也包含很多学习文档，有中文版的。http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html 关于MapReduce的内容，建议看看孟岩的这篇MapReduce:The Free Lunch Is Not Over! import java.io.IOEx

执行一个作业有很多方法，这看两种方法：1. JobClient.runJob(conf); //JobConf2. job.waitForCompletion(true);//JobrunJob接受一个作业配置对象JobConf，然后初始化一个JobClient，作业的提交最终有依靠该对象。  public static RunningJob runJob(JobConf job)

public class PageRank { private BinaryData adjacencyMatrix = null; private double threshold = 0.000000001; private double alpha = 0.3; private double beta = 0.6; private double gamma = 0.1;

如何安装和配置Hadoop已经有很多资料可以查了，官方文档http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html。但是还是经常会出一些问题。本地模式是推荐的开发模式，在Windows上配合Cygwin容易出错。Hadoop的三种模式：单机模式伪分布式模式完全分布式模式分布式模式增加了Na