云计算Hadoop配置(二) ——单机伪分布配置

2.3.1 配置三个文件

1)      配置$HADOOP_HOME/conf/core-site.xml

图2-1 配置core-site.xml

     原来文件是空的，只要在该文件中添加上面图2-1所示中标示部分的内容即可。如没有配置 hadoop.tmp.dir 参数,此时系统默认的临时目录 为:/tmp/hadoop/hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错 。

2)      配置$HADOOP_HOME/conf/hdfs-site.xml

    原来文件是空的，只要在该文件中添加图2-2标示部分的内容即可。

图2-2 配置hdfs-site.xml

3)   配置$HADOOP_HOME/conf/mapred-site.xml

     在原文件中添加图2-3标示的内容即可。

图2-3 配置mapred-site.xml

2.3.2 格式化HDFS

       进入Hadoop的HADOOP_HOME目录下面，运行命令：

       $ bin/hadoop namenode –format

2.3.3 启动hadoop监护进程

      进入Hadoop的HADOOP_HOME目录下面，运行命令：

       $ bin/start-all.sh

图2-4 启动监护进程

2.3.4 复制输入文件到hdfs

       进入Hadoop的HADOOP_HOME目录下面，运行命令：

       $ bin/hadoop dfs –mkdir test-in    //在hdfs文件系统下创建一个test-in的文件夹

       $ bin/hadoop dfs –copyFromLocal /home/administrator/test_file.txt  test-in     //将本地文件test-file.txt复制到hdfs系统的test-in文件夹中

2.3.5 运行简单例子

       $  bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount  test-in test-out

         //将hdfs文件系统中的test-in作为输入目录，test-out目录作为结果的输出目录

图2-5 运行实例

2.3.6 将结果输出

$  bin/hadoop dfs –cat  test-out/part-r-00000

//将hdfs文件系统中的test-out中的文件part-r-00000中的结果输出

图2-6 输出结果

2.3.7 停止hadoop系统

$  bin/stop-all.sh

//停止Namenode,JobTracker,Datanode及Secondarynamenode

图2-7 停止Hadoop系统