Hadoop2.2.0安装笔记

    最近想学习hadoop,于是网上找了些教程学习，几经周折，总算安装成功了！

    先讲下环境，就2台机器...都是vmware虚拟机，操作系统centos,

    jdk版本 1.8.0

    hadoop版本 2.2.0

    操作系统centos 6.5

    操作系统的安装就不再说明了，从安装jdk开始.

    将jdk安装包copy到usr/java目录下，再图形界面下直接安装。

    安装完成后设置环境变量。

    修改etc/profile文件，在末尾加入内容

    # set java environment

   JAVA_HOME=/usr/java/jdk1.8.0

   CLASSPATH=.:$JAVA_HOME/lib.tools.jar

   PATH=$JAVA_HOME/bin:$PATH

   export JAVA_HOMECLASSPATH PATH

   重启,,命令行下输入 echo $JAVA_HOME

   如果有值，代表已经正确安装和配置了。

   另外一台机器重复此次操作，安装完成后开始安装hadoop

   先更改机器名,namenode节点改名为master

   输入命令 hostname master

   配置好ip 192.168.1.100

   另外一台做nodename 输入命令 hostname  slaves

   配置好ip 192.168.1.101

　修改etc/hosts文件

   内容如下

  127.0.0.1          localhost
  192.168.156.221    master
  192.168.156.222    slaves

   先安装主机,建立一个用户,这里我是建立自己的用户 wyh

   进入wyh主目录   输入mkdir hadoop    (建立hadoop目录)

   进入hadoop目录  并将hadoop-2.2.0考到hadoop目录下，解压到hadoop-2.2.0下

   mkdir dfs(建立dfs目录)

   mkdir tmp(建立tmp目录)

   配置hadoop环境变量

  修改etc/profile 在末尾加入

  #hadoop variable settings

export HADOOP_HOME=/home/wyh/hadoop/hadoop-2.2.0

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

 完成后可以重启下,输入echo $HADOOP_HOME 检查下环境变量有没有设置正确。

 下面是配置文件更改

 在hadoop-2.2.0/etc/hadoop/下，修改core-site.xml内容如下

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/wyh/hadoop/tmp</value>
<description>A base for other temporarydirectories.</description>
</property>
<property>
<name>hadoop.proxyuser.wyh.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.wyh.groups</name>
<value>*</value>
</property>
</configuration>

修改hdfs-site.xml 内容如下

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/wyh/hadoop/tmp</value>
<description>A base for other temporarydirectories.</description>
</property>
<property>
<name>hadoop.proxyuser.wyh.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.wyh.groups</name>
<value>*</value>
</property>
</configuration>

修改marred-site.xml  内容如下

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/mr-history/tmp</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/mr-history/done</value>
</property>
</configuration>

修改yarn-site.xml 内容如下

<configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
                 <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:8030</value>
       </property>
       <property>
                       <name>yarn.resourcemanager.resource-tracker.address</name>
                        <value>master:8031</value>
               </property>
       <property>
                       <name>yarn.resourcemanager.admin.address</name>
                        <value>master:8033</value>
               </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>master:8088</value>
       </property>
</configuration>

还要修改下hadoop.env.sh

在# The java implementation to use. 后面设置jdk的环境变量

export JAVA_HOME=/usr/java/jdk1.8.0

安装完成后另外一台重复同样操作，可以将安装好的hadoop直接copy到对应目录。

在这之前最好先生成ssh无密匙认证

在wyh@master上执行 ssh-kengen

然后一路回车

这样就在/wyh/.ssh/目录下生成一个私钥 id_rsa 和一个公钥 id_rsa.pub 。

执行cp id_rsa.pub authorized_keys

在scp authorized_keys wyh@slaves:/.ssh/  (将 authorized_keys 复制到slaves同目录下)

都配置完成后可以开始初试化了

进入hadoop-2.2.0目录

执行.bin/hdfs namenode -format

完成后执行/sbin/start-all.sh启动

 

转载于:https://www.cnblogs.com/wangyinhuo/p/3636260.html