六、阿里云搭建Hadoop伪分布式环境

1、搭建过程

• 按照官方文档一步一步搭建。
• 在格式化文件系统之前，修改/home/hassan/software/hadoop/hadoop-2.9.2/etc/hadoop/hadoop-env.sh中变量的JAVE_HOME的值为自己机器java根目录的具体路径，否则无法搭建成功。
• 之前在机器上搭建过伪分布式环境，这次启动之后在HDFS中创建目录成功，但是将本地文件复制到HDFS中失败，果不其然，jps发送NameNode启动成功，但是DatNode没启动成功，解决办法是将/tmp目录下hadoop的临时文件删除，然后停止HDFS，再启动即可。

2、测试

• 浏览器地址栏输入http://47.101.159.36:50070，看能否访问HDFS的web界面。
• 在本地创建一个文件：touch testfile，然后写点数据进去echo "hello, hdfs." > testfile，然后在HDFS中创建目录：hdfs dfs -mkdir /hassan，然后将testfile复制到HDFS中：hdfs dfs -copyFromLocal ../testfile /hassan/，然后查看是否上传成功：hdfs dfs -copyFromLocal ../testfile /hassan/，然后从HDFS中查看文件内容：hdfs dfs -cat /hassan/testfile。
• 在HDFS的web界面查看自己上一步上传的文件是否存在。
• 浏览器地址栏输入http://47.101.159.36:8088/cluster，查看能否访问YARN的web界面。
• 在YARN上运行一个mapReduce程序。
• 在YARN的web界面上能否看到自己跑的任务。

参考文档：

官方文档：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation