大数据学习2-Hadoop分布式搭建

下载hadoop

hadoop下载提取码:vqkm(也可以自己去官网下载)

上传解压

下载完了之后使用Xshell连接master主机并上传到root目录下

tar zxfv hadoop-2.6.0.tar.gz  #解压hadoop
mv hadoop-2.6.0 hadoop  #重命名

修改环境变量

vi /etc/profile

在后面添加以下配置

export HADOOP_HOME=/root/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#之前添加过java环境变量,这次直接加后面就行了

记得让修改的环境变量立即生效

source /etc/profile  #修改的环境变量立即生效

修改配置文件

修改6个配置文件->hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,slaves,mapred-site.xml
其中mapred-site.xml不存在只有 mapred-site.xml.template,所以需要重命名
注意哦 :在修改配置文件的时候一定要细心不要急,一个字母出错都会出问题

cd hadoop/etc/hadoop/  #进入需要修改的配置文件目录下
mv mapred-site.xml.template mapred-site.xml #重命名需要配置的mapred-site.xml文件

1. hadoop-env.sh

vi hadoop-env.sh
	找到export JAVA_HOME=${JAVA_HOME} 把${JAVA_HOME}修改为/root/jdk

2. core-site.xml

vi core-site.xml

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
  </property>
  <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
  </property>
</configuration>

mkdir /root/hadoop/tmp 

3.hdfs-site.xml

vi hdfs-site.xml

<configuration>
  <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/hadoop/hdfs/name</value>
  </property>
  <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/hadoop/hdfs/data</value>
  </property>
  <property>
        <name>dfs.repliation</name>
        <value>2</value>
  </property>
  <property>
        <name>dfs.secondary.http.address</name>
        <value>slave1:50090</value>
  </property>
</configuration>

mkdir -p /root/hadoop/hdfs/name
mkdir -p /root/hadoop/hdfs/data

4. mapred-site.xml

vi mapred-site.xml

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>
</configuration>

5. yarn-site.xml

vi yarn-site.xml

把configuration里面的的注释删掉

<configuration>
  <property>
        <name>yarn.resourcemanager.host</name>
        <value>slave2</value>
  </property>
  <property>
        <name>yarn.resourcemanager.address</name>
        <value>slave2:8032</value>
  </property>
  <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
  </property>
</configuration>

6.slaves

vi slaves

把localhost删掉

master  
slave1
slave2

把hadoop文件拷贝到slave1和slave2主机上

scp -r /root/hadoop slave1:/root/
scp -r /root/hadoop slave2:/root/
scp -r /etc/profile slave1:/etc/
scp -r /etc/profile slave2:/etc/

初始化hadoop

hadoop namenode -format #或者hdfs namenode -format都行

出现以上画面说明环境搭建成功了,如果出错找到error查看问题在哪,大概率是配置文件里的字母打错了

启动

在master主机上启动

start-dfs.sh

输入jps验证 ,查看hadoop启动的服务
在slave2主机上启动

start-yarn.sh 

输入jps验证
也可以在浏览器上输入maser主机ip地址加50070验证
例如->192.168.1.11:50070 注意前面的ip地址输你自己的

最后如果要关闭hadoop启动的服务
这里注意细节:关闭服务是从后往前关,所以先关slave2主机上的

stop-yarn.sh  #slave2
stop-dfs.sh   #master