Hadoop环境搭建，以及mapreduce的使用

Hadoop2.5环境搭建
1. 解压安装Hadoop
命令：
$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

2. 配置Hadoop的JAVA支持（/etc/hadoop目录下）
hadoop-env.sh
mapred-env.sh
yarn-env.sh

在这3个文件中都配置
export JAVA_HOME=/opt/modules/jdk1.7.0_67
hadoop-env.sh ：（第二十五行）

mapred-env.sh ：（第十六行）

yarn-env.sh ：（第二十三行）

3. 与hdfs相关的配置 ${HADOOP_HOME}/etc/hadoop
core-site.xml
hdfs-site.xml
在core-site.xml中配置：
=============core-site.xml===================

---

在hdfs-site.xml中配置：
=============hdfs-site.xml============

---

1. 格式化namenode 只格式化一遍，不要重复格式化
   命令：（cd /opt/modules/hadoop-2.5.0）
   $ bin/hdfs namenode –format
   
   5.启动hdfs守护进程
   命令：（cd /opt/modules/hadoop-2.5.0）
   $ sbin/hadoop-daemon.sh start namenode //启动namenode进程

   $ sbin/hadoop-daemon.sh start datanode //启动datanode进程
   

注：使用jps命令查看进程是否启动成功

---

6.打开浏览器访问：http://com.rumple:50070

---

1. 配置YARN 任务调度 （Mapreduce） 资源管理（resourcemanager nodemanager）
   yarn-site.xml
   mapred-site.xml

1）在yarn-site.xml中配置：
=======mapred-site.xml=====
${HADOOP_HOME}/etc/hadoop目录下配置mapred-site.xml

2）在mapred-site.xml中配置：
复制并重名模板文件(etc/hadoop目录下)
$ cp mapred-site.xml.template mapred-site.xml

=======mapred-site.xml=====
${HADOOP_HOME}/etc/hadoop目录下配置mapred-site.xml

---

1. 启动hdfs yarn进程
   命令：
   $sbin/yarn-daemon.sh start resourcemanager$ sbin/yarn-daemon.sh start nodemanager
   

 查看jps进程
 

---

二：一些相关命令的演示：
1. 向yarn提交mapreducer任务：
1)计算圆周率：
命令：
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar pi 3 5

2)文件系统常用命令：
命令：
$bin/hdfs dfs //可以查看所有的dfs相关的操作指令$ bin/hdfs dfs -ls //查看目录
$bin/hdfs dfs -mkdir -p /input/test //创建目录$ bin/hdfs dfs -rmdir /input/test //删除目录
$ bin/hdfs dfs -put /opt/software/jdk-7u67-linux-x64.tar.gz /input/test //上传文件

上传文件
 
3）wordcount词频统计：

访问浏览器中的地址：http：//com.rumple:8088

到ouput2(执行mapreduce命令式指定的输出目录)文件中查看文件

 
第三章：HDFS架构图

 
补充：7.配置日志聚合
=======mapred-site.xml=========
**追加到原来配置和后面

=======yarn-site.xml=========

8.停止所有进程重新启动，以便配置文件生效
1）停止进程
$sbin/hadoop-daemon.sh stop namenode$ sbin/hadoop-daemon.sh stop datanode
$sbin/yarn-daemon.sh stop resourcemanager$ sbin/yarn-daemon.sh stop nodemanager

2）启动进程
$sbin/hadoop-daemon.sh start namenode$ sbin/hadoop-daemon.sh start datanode
$sbin/yarn-daemon.sh start resourcemanager$ sbin/yarn-daemon.sh start nodemanager

3）启动历史
启动历史服务
命令：
sbin/mr-jobhistory-daemon.sh start historyserver

4）查看守护进程（jps）
28904 ResourceManager
28724 NameNode
28808 DataNode
29152 NodeManager
29304 JobHistoryServer
30561 Jps
查看hdfs的web界面
http://com.rumple:50070
*28724 NameNode
*28808 DataNode
查看yarn的web访问界面
http://com.rumple:8088
*28904 ResourceManager
28724 NameNode
28808 DataNode
*29152 NodeManager
查看历史日志的web访问界面
http://com.rumple:19888
28904 ResourceManager
28724 NameNode
28808 DataNode
29152 NodeManager
* 29304 JobHistoryServer

最后停止所有任务：
$ sbin/hadoop-daemon.sh stop namenode

$ sbin/hadoop-daemon.sh stop datanode

$ sbin/yarn-daemon.sh stop resourcemanager

$ sbin/yarn-daemon.sh stop nodemanager

$ sbin/mr-jobhistory-daemon.sh stop historyserver