ubuntu16.04安装hadoop3.1.2-单机版

一、基本信息

    hadoop版本：3.1.2
    操作系统：ubuntu16.04（需要安装ssh）
    jdk版本：1.8

二、安装过程

1、查看或修改主机名（例如主机名为hadoop-master）
    sudo cat /etc/hostname
    sudo vim /etc/hostname
2、修改网络映射（ifconfig查看ip地址）
    sudo vim /etc/hosts
    192.168.1.121       hadoop-master
    要删除127.0.0.1的映射关系
    127.0.0.1       hadoop-master
3、设置系统操作账户（如果已有用户，可不添加）
    sudo addgroup hadoop
    sudo adduser -ingroup hadoop hadoop
    配置Hadoop用户为管理员权限
    sudo vim /etc/sudoers
        hadoop    ALL=(ALL:ALL) ALL
    切换用户
    su hadoop
    设置ssh免密登陆
    ssh-keygen -t rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    ssh localhost
    exit
4、安装JDK，并配置环境变量
    解压并移动到安装目录
    tar -zxvf jdk-8u151-linux-x64.tar.gz
    sudo mv jdk-8u151-linux-x64 /usr/local/jdk1.8
    
    配置环境变量
    sudo vim /etc/profile
        export JAVA_HOME=/usr/local/jdk1.8
        export JRE_HOME=${JAVA_HOME}/jre
        export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
        export PATH=.:$PATH:${JAVA_HOME}/bin
    文件修改生效
    source /etc/profile
    测试安装
    java -version
5、安装hadoop3.1.2
    解压并移动到安装目录
    tar -zxvf hadoop-3.1.2.tar.gz
    sudo mv hadoop-3.0.2 /usr/local/hadoop/hadoop-3.1.2
    
    给操作用户授予安装目录权限
    sudo chown -R hadoop:hadoop /usr/local/hadoop

    配置环境变量
    sudo vim /etc/profile
        export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.2
        export PATH=$HADOOP_HOME/bin:$PATH
        export PATH=$PATH:$HADOOP_HOME/sbin
    文件修改生效
    source /etc/profile
    测试安装
    hadoop version
6、配置hadoop
    配置hadoop环境信息（这里只需要设置JAVA_HOME）
    sudo vim /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
        export JAVA_HOME=/usr/local/jdk1.8
    
    创建namenode和datanode目录
    /usr/local/hadoop/data/namenode
    /usr/local/hadoop/data/datanode
    
    修改配置文件(配置文件的hadoop-master是主机名，路径是上面创建的namenode和datanode目录)
    cd /usr/local/hadoop/hadoop-3.1.2/etc/hadoop
    
    (1)修改hdfs-site.xml
    vim hdfs-site.xml
    configuration节点下加入如下配置
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/data/datanode</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>true</value>
    </property>
    
    (2)修改core-site.xml
    vim core-site.xml
    configuration节点下加入如下配置
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/data</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    
    (3)修改yarn-site.xml
    vim yarn-site.xml
    configuration节点下加入如下配置
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    
    (4)修改mapred-site.xml
    vim mapred-site.xml
    configuration节点下加入如下配置
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
7、启动HDFS
    格式化namenode（第一次启动前执行，只执行一次）
    hdfs namenode -format
    启动hdfs
    start-dfs.sh
    启动yarn
    start-yarn.sh
    查看是否启动成功    
    jps
    浏览器访问
    http://192.168.1.121:9870/
    http://192.168.1.121:8088/cluster