Debian7下Hadoop-2.6.2伪分布式环境搭建

服务器使用阿里云学生优惠版的ESC，1核/1G， 系统为32位的Debian7。

下载安装Hadoop

wget http://apache.fayea.com/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz
cp hadoop-2.6.2.tar.gz /usr/local
cd /usr/local
tar -zxvf hadoop-2.6.2.tar.gz
rm hadoop-2.6.2.tar.gz

配置环境变量

修改~/.bashrc，添加：

export HADOOP_INSTALL=/usr/local/hadoop-2.6.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_INSTALL/sbin:$HADOOP_INSTALL/bin

然后调用ssh-keygen生成公钥，将公钥添追加到authorized_keys文件中去。(免密码SSH)

启动HDFS, MapReduce

由于我修改了SSH端口为345，因此直接执行start-all.sh会报

ssh: connect to host 0.0.0.0 port 22: Connection refused

解决方法是修改conf/hadoop-env.sh，添加：

export HADOOP_SSH_OPTS="-p 345"

还有一个问题，我修改了服务器hostname为wanghongfei，启动时还会报

java.net.UnknownHostException: wanghongfei

解决方法为修改/etc/hosts, 在localhost后面加上wanghongfei。

无误后执行start-all.sh即可。