hadoop环境配置

一、在hadoop安装目录下/etc/Hadoop下：

1. hadoop-env.sh配置
   vi hadoop-env.sh

修改配置export JAVA_HOME=/home/liujie/JDK/jdk1.8.0_131

2. core-site.xml配置
   vi core-site.xml

   <property>
   
       <name>fs.defaultFS</name>
   
       <value>hdfs://rack1:9000/</value>
   
    </property>
   

<property>

     <name>hadoop.tmp.dir</name>

     <value>/home/liujie/hadoop/hadoop-2.7.7/tmp</value>

</property>

3. hdfs-site.xml配置
   vi hdfs-site.xml

<property>

    <name>dfs.replication</name>

    <value>1</value>

<!-- 1指的是分布副本也可以定义切块的大小，默认是128M  -->
</property>

4. mapred-site配置
   mv mapred-site.xml.template mapred-site.xml #必须先改名

 vi  mapred-site.xml

<property>

    <name>mapreduce.framework.name</name>

   <value>yarn</value>

</property>

5. vi yarn-site.xml

<!-- 指定yarn的老大-->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>rack1</value>

</property>

<!-- reduce 获取数据的方式 -->

<property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

</property>

6. 最后的网络配置工作

关闭防火墙：sudo service iptables stop

7. 格式化hadoop

把hadoop加到环境变量中

sudo vi /etc/profile

export HADOOP_HOME=hadoop的安装目录

export PATH=$HADOOP_HOME/bin

格式化hadoop namenode -format

8. 启动/Hadoop/Hadoop-2.7.7/sbin目录下的

start-dfs.sh 启动namenode datanode 和SecondaryNameNode

start-yarn.sh 启动ResourceManager和NodeManager

使用 jps 命令查看是否启动成功。