hadoop环境搭建(大数据知识了解)

本文参考极客学院视频总结整理，视频地址如下，有兴趣的可以看看

https://www.jikexueyuan.com/course/2475_3.html?ss=1

https://blog.youkuaiyun.com/vitaair/article/details/79797817

一：安装虚拟机(VMware)
    安装 CentOS6.4版本

二：设置虚拟机IP

    service network restart重启网关
    
三：关闭防火墙(远程SSH链接不上时可关闭防火墙试试)
    service iptables stop
    ======永久关闭=======
    chkconfig iptables off
    vim /etc/sysconfig/selinux
    SELINUX=disabled
    
    ======ubuntu========
    sudo ufw disable(关闭防火墙)
    sudo ufw enable(打开防火墙)
    sudo ufw status(active|inactive)
    
四：修改主机名(hostname)
    hostname hadoop
    vim /etc/sysconfig/network(永久修改)
    
五：配置主机连接
    vim /etc/host
    192.168.13.31    hadoop
    reboot(重启机器)
    
六：安装RZ上传工具
    yum install -y lrzsz(下载失败时执行yum clean all)

    
七：安装配置JDK环境
    tar -zxvf jdkxxx.tar.gz -C ../softwares/
    vim /etc/profile
    export JAVA_HOME=/home/xxxx
    export PATH=$PATH:$JAVA_HOME/bin
    source /etc/profile
    
八：新建用户(可忽略)
    useradd hadoop001
    passwd hadoop001
    赋予sudo权限
    su root
    chmod u+x /etc/sudoers
    vim /etc/sudoers
    hadoop001       ALL=(ALL)       ALL
    
九：配置环境

1.    上传hadoop-2.7.7-src.tar，解压到softwares目录，进入到hadoop-2.7.7下面，打开BUILDING.txt，红色框内有当前hadoop版本所需要的软件

    上传apache-maven-3.6.0-bin.tar文件配置环境变量($MAVEN_HOME/bin   mvn -v)

    上传findbugs-1.3.9.tar.gz配置环境变量($FINDBUG_HOME/bin  findbugs -version)

    上传protobuf-2.5.0.tar解压

    ./configure开始编译protobuf
    编译出错，执行安装系统依赖
    yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++
    ./configure再次编译
    make install开始安装
    
十：编译hadoop-src
    配置
    http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html
    
十一：mapreduce编出练习
    eclipse配置maven
    创建mapreduce项目失败，安装quickstart(参考文章https://www.cnblogs.com/qiyebao/p/5226508.html)
    mvn install:install-file -DgroupId=org.apache.maven.archetypes -DartifactId=maven-archetype-quickstart -Dversion=1.1 -Dpackaging=jar -Dfile=maven-archetype-quickstart-1.1.jar

十二：异常问题和解决方法

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 问题

解决

1.找到hadoop相对应的64位lib包，可以自己编译，也可以去网上找编译好的(http://dl.bintray.com/sequenceiq/sequenceiq-bin/)下载对应的lib包 2.将准备好的64位lib包分别解压到hadoop版本下的lib/native下和lib下

tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.8.0/lib/native

tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.8.0/lib

进入vim模式 vim /etc/profile，在/etc/profile最下面加上一下内容

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

使环境变量生效 source /etc/profile

检测hadoop checknative -a指令检查