hadoop分布式集群搭建

hostname 设置：

   vi  /etc/sysconfig/network

hostname和ip地址的设置

   cat /etc/hosts

   ip地址  主机名

各个节点角色分配：

huawei：NameNode/DataNode ResourceManager/NodeManager

xiaomi：DataNode NodeManager

baidu:DataNode  NodeManager

ssh免密码登录：

在每台机器运行ssh-keygen -t rsa

                        ssh-copy-id -i

jdk安装：

集群搭建：

1.在master上进行hadoop安装，设置环境变量

  hadoop-env.sh(加入JDK环境变量）

  core-site.xml:

   <property>

   <name>fs.default.name</name>

    <value>hdfs://master:8020</value>

   </property>

   hdfs-site.xml:

     <property>
   <name>dfs.namenode.name.dir</name>
   <value>/home/huawei/tmp</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/home/huawei/tmp</value>

 </property>

   yarn-site.xml:

     <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>master</value>

 </property>

  mapred-site.xml:

   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>

    </property>

2.分发安装包到其他从节点上

   使用scp命令分发

    重新执行配置文件：source .bash_profile

3.对NameNode进行格式化：

4.启动集群：

5.验证：

  jps

  master：80070

  master：8088

将Hadoop项目运行到集群中

   上传jar和数据