jienqiuqiu的专栏

几天前开始学习hadoop，从今天起，想把我学习hadoop全过程记录一下。我会记录在学习过程中碰到的问题、困难以及解决方法等等，如果你也是刚学hadoop，我们可以一起讨论。 学了几天，好像入门了，在这里和大家分享，就当全程笔记的第一篇吧。 新说明一下我的开发环境 操作系统：在windows下使用wubi安装了ubuntu 10.10 hadoop版本：hadoop-

这是Hadoop学习全程记录第2篇，在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。 新说明一下我的开发环境： 操作系统：在windows下使用wubi安装了ubuntu 10.10 hadoop版本：hadoop-0.20.2.tar.gz Eclipse版本：eclipse-jee-helios-SR1-linux-gtk.tar.gz 

//一般匹配符// allOf匹配符表明如果接下来的所有条件必须都成立测试才通过，相当于“与”（&&）assertThat( testedNumber, allOf( greaterThan(8), lessThan(16) ) );// anyOf匹配符表明如果接下来的所有条件只要有一个成立则测试通过，相当于“或”（||）assertThat( testedNumber, a

$ ssh-host-config*** Query: Overwrite existing /etc/ssh_config file? (yes/no) yes*** Info: Creating default /etc/ssh_config file*** Query: Overwrite existing /etc/sshd_config file? (yes/no) ye

问题原因：很可能是/var/log的权限设置不正确。首先执行 mkpasswd 和 mkgroup 重新生成权限信息，再删除sshd服务，重新配置解决办法：$ mkpasswd -l > /etc/passwd$ mkgroup -l > /etc/group$ cygrunsrv -R sshd$ ssh-host-config -y$ cygrunsrv -S sshd

在Cygwin上配置Hadoop的Java_home,首先到了${HADOOP_HOME}的conf目录下，修改hadoop-env.sh文件。主要分为如下几步：1. 找到JAVA_HOME,修改JAVA_HOME的路径指向你本机安装的Jdk路径。注意，这里的路径不能以window的路径出现，应该用unix的形式出现，例如c:\Program Files\Java\jdk1.6.0，应该写成/

1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；