sulliy的专栏

Linux上安装过程参考http://blog.youkuaiyun.com/sulliy/article/details/7014169Windows上安装还是主要SSH和Java JDK。详细的参考在 Windows上安装Hadoop教程主要问题在于开启HDFS后，本地文件和HDFS中的文件使用上，可能会遇到如下错误：java.io.FileNotFoundExceptio

安装环境OS：Ubuntu Linux 8.0Java：sun-java 1.6.0.20Hadoop：hadoop-0.20.2安装Hadoop之前需要做一些准备工作，系统应该先安装Java和SSH，并且保证sshd一直运行，以便使用Hadoop脚本管理器远端访问Hadoop守护进程。 第一步：安装SSH使用OpenSSH，在配置好源的情况下，输入如下命令：sud

有很多介绍Hadoop的资源，Hadoop自动的Doc文件夹中也包含很多学习文档，有中文版的。http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html 关于MapReduce的内容，建议看看孟岩的这篇MapReduce:The Free Lunch Is Not Over! import java.io.IOEx

执行一个作业有很多方法，这看两种方法：1. JobClient.runJob(conf); //JobConf2. job.waitForCompletion(true);//JobrunJob接受一个作业配置对象JobConf，然后初始化一个JobClient，作业的提交最终有依靠该对象。  public static RunningJob runJob(JobConf job)

原文参见 http://www.distream.org/?p=384应用开发主要知识点如下：Configuration类（支持overwrite，variable $）测试（mock单元测试，本地测试，集群测试）    Tool, ToolRunner    集群测试（package, 启动job, Job web UI for nam

前面讲到在集群模式时，submitJob将调用JobTracker的submitJob。JobTracker.submitJob()启动一个新的Job。该函数内部创建一个JobInProgress对象，它包含JobProfile和JobStatus两个对象。JobProfile的成员是MapReduce的一些属性信息。String user;  final JobID jobi

原文见http://blog.chinaunix.net/space.php?uid=20787846&do=blog&id=1842409目的这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：Hadoop快速入门对初次使用者。Hadoop集群