单机Hadoop系统测试命令

 

安装好单机Hadoop系统后，我们使用其自带的wordcount程序进行简单的测试，以下是一些简单的命令：

 

格式化hdfs文件系统：

做以这一步之前最好先删除tmp文件夹中的内容，不然上次存留的datanode数据会与这次产生冲突，造成Incompatible DatanodeID。

hadoop namenode -format

 

开启dfs和mapreduce：

start-all.sh

 

建立hdfs文件系统：

建立文件夹 hadoop dfs -mkdir test-input

从linux文件系统中拷贝文件 hadoop dfs -copyFromLocal XXX文件夹 test-input

 

运行wordcount程序：

hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount test-input test-output

注意test-output由系统自己建立

 

查看运行结果：

hadoop dfs -cat test-output/part-r-00000

可以将文件从hdfs中副知道linux文件系统中查看：

hadoop dfs -get test-output/part-r-00000 test-out.txt

 

使用web界面查看hadoop集群和作业状态：

http://NameNode节点的IP:50070/