本文详细记录了在虚拟机中搭建Hadoop伪分布式集群的步骤，包括JDK与Hadoop的安装、配置HDFS和YARN运行MapReduce、配置环境变量、解决访问问题以及集群操作。涉及核心-site.xml、hdfs-site.xml、yarn-site.xml等配置文件的修改，并提供了故障排查和日志分析的指导。
1 JDK与Hadoop安装
1.1 建立文件夹
在/opt/目录下创建文件夹module和software。software用于上传jar包，文件解压到module目录下。
1.2 上传jar包
1.3 解压jar包**
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module
tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/module
1.4 配置JAVA环境变量
#vi /etc/profile
在末尾增加以下内容：
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/sbin
（部署hadoop的话要删掉最后一行）
配置完成后
#source profile
1.5 配置Hadoop变量
#vi /etc/profile
在末尾增加以下内容
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
配置完成后
#source profile
2 HDFS上运行MR
2.1 配置参数
配置core-site.xml文件
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
<!--指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
#hadoop101为虚拟机名称应对应修改
</property>
<!--指定hadoop运行时产生文件的存储目录--><property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
配置hdfs-site.xml文件
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
<!--指定HDFS副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value> //1指的是HDFS副本数目，集群应对应修改为3
</property>
2.1 启动集群
2.1.1 启动NN和DN
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode-format
# 格式化namenode（第一次启动时执行，不要一直格式化）
[atguigu@hadoop101hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
#启动namenode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
#启动datanode
每启动一个进程都要使用jps查看进程是否启动成功。
2.1.2 查看日志
日志存储路径：/opt/module/hadoop-2.7.2/logs
2.1.3 WEB端访问HDFS
网址：服务器IP:50070
2.1.4 故障分析
**格式化namenodebaocuo **
通过hadoop01 无法找到主机 ，在host 中也没有对应的映射信息。
修改hosts文件，添加hadoop01、hadoop02、hadoop03
web界面无法访问HDFS
- #vi /etc/selinux/config
并将SELINUX=enforcing修改为disabled
2.确认$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好
3.关闭防火墙
4.hadoop-env.sh文件中设置Java的绝对路径
web界面报错
报错内容：NameNode is still loading. Redirecting to the Startup Progress page.
故障原因：core-site.xml文件配置错误
图中划线部分应为客户机IP地址
2.2 操作集群
以下命令默认在/opt/module/hadoop-2.7.2下执行。
# 在hdfs文件系统上创建一个input文件夹
bin/hdfs dfs -mkdir -p /user/root/input
#将测试文件内容上传到文件系统上
bin/hdfs dfs -put wcinput/wc.input/user/root/input/
#查看上传的文件是否正确
bin/hdfs dfs -ls /user/root/input/
bin/hdfs dfs -cat /user/root/input/wc.input
#运行mapreduce程序
bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input//user/root/output
#输出目录不能提前设置
#查看输出结果
#命令行查看：
bin/hdfs dfs-cat /user/root/output/*
#将测试文件内容下载到本地
hadoop fs-get /user/root/output/part-r-00000 ./wcoutput/
#删除输出结果
hdfs dfs-rmr /user/root/output
3 yarn上运行MR
3.1 配置环境和参数
配置yarn-env.sh文件
存储路径：
/opt/module/hadoop-2.7.2/etc/hadoop
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
<!--reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value> //这里应填写YARN安装的服务器名称
</property>
配置 mapred-env.sh
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
将mapred-site.xml.template重新命名为mapred-site.xml
<!--指定mr运行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3.2 集群操作
NN、DN与在HDFS上操作相同，不做赘述。
3.2.1 启动RM、NM
#启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager
#启动nodemanager
sbin/yarn-daemon.sh start nodemanager
每启动一个进程都要使用jps查看进程是否启动成功。
3.2.2 WEB访问YARN
http://192.168.1.101:8088/cluster //IP为虚拟机IP
3.2.3 操作集群
#删除文件系统上的output文件
bin/hdfs dfs-rm-R /user/atguigu/output
#执行mapreduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/user/atguigu/output
#查看运行结果
bin/hdfs dfs-cat /user/atguigu/output/*
4 其他参数配置
4.1 关闭进程
配置参数时，必须确保所有进程处于关闭状态。开启进程为start，关闭为stop
#关闭NM
sbin/yarn-daemon.shstop nodemanager
#关闭RM
sbin/yarn-daemon.sh stop resourcemanager
#关闭DN
sbin/hadoop-daemon.sh stop datanode
#关闭NN
sbin/hadoop-daemon.sh stop namenode
4.2 配置临时文件存储路径
配置文件：core-site.xml
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
配置方法如下：
<!--指定hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
这个在配置HDFS上运行MR部分已经配置过了，没有其他要求还是不要改。
配置完成后执行以下操作：
1）删除/opt/module/hadoop-2.7.2路径中的logs文件夹
2）删除tmp目录中hadoop-atguigu目录
3）格式化NN
4）重启服务
懒得写代码了，就酱。。。
4.3 配置历史服务器
配置文件：mapred-site.xml
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.30.128:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.30.128:19888</value>
</property>
历史服务器：mr-jobhistory-daemon.sh
存储路径：/opt/module/hadoop-2.7.2/sbin
启动程序：
sbin/mr-jobhistory-daemon.sh start historyserver
WEB页面访问：192.168.30.128:19888/jobhistory
4.4 配置日志聚集
日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上。
配置yarn-site.xml
存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
<!--日志聚集功能使能-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--日志保留时间设置7天-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value> //7天共计604800秒
</property>
启动以及其他操作参见4.3。
查看日志：192.168.30.128:19888/jobhistory
5 配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
5.1 默认配置文件
存放在hadoop相应的jar包中
[core-default.xml]
hadoop-common-2.7.2.jar/ core-default.xml
[hdfs-default.xml]
hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
[yarn-default.xml]
hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
[core-default.xml]
hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml
5.2 自定义配置文件
存放在$HADOOP_HOME/etc/hadoop
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
6 HDFS上的一些操作
在HDFS上进行操作貌似是需要在命令行前添加bin/hdfs dfs语句，其他和在Cent OS上一样。
如：
#创建目录：
bin/hdfs dfs -mkdir
bin/hdfs dfs -mkdir -p
#上传文件：
bin/hdfs dfs -put
#浏览文件
bin/hdfs dfs -cat
#删除文件
bin/hdfs dfs -rm -rf
bin/hdfs dfs -rm -R（递归删除）
就酱，不一一举例了
扫一扫
1961
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
