hadoop搭建教程

    最近准备学习一些大数据的入门知识，当然是从搭建环境开始了，下面我把我搭建hadoop的步骤以及遇到的一些问题写在下边。

    搭建前的准备：

    centos7环境

    jdk环境

    ssh免密登录

    用户组

    准备好以上几步之后就可以搭建hadoop了。

    安装centos的步骤就不在这里赘述了。

    jdk环境如果centos操作系统自带的话那么找到JAVA_HOME很难，至少我试了将java命令的路径设为JAVA_HOME没有通过，which java设为JAVA_HOME也没有通过，好吧，可能是我知识不到家，我只能采用最简便粗暴的方法，将centos自带的java卸载，并且在网上下载新的jdk包。我下载的是jdk8的tar.gz包，安装java环境还是很简单的，只需要下载一个jdk包，然后将这个包的解压路径写到环境变量中java环境就算安装好了。

具体步骤如下：

1. sudo yum remove java java........  #后边的省略号可以使用tab键来不全，我也记不得全部名称
2. tar -zxvf jdk-8u161-linux-x64.tar.gz
3. vim .bash_profile
4. export JAVA_HOME=/home/hadoop/jdk1.8.0_161 
5. export PATH=$PATH:$JAVA_HOME/bin       #在.bash_profile中添加4,5两行的内容，并保存退出
6. source .bash_profile
7. java

    安装好java环境之后我们再来配置ssh的免密登录，一般centos都自带了ssh，配置免密登录的步骤如下

    首先修改ssh的配置文件，让其支持免密登录，ssh的配置文件路径是/etc/ssh/sshd_config

    sudo vim /etc/ssh/sshd_config

    做如下修改（如果配置文件中没有这几项内容，就按照下图把他们加上），其中黄色框圈住的内容就是我们要写入到配置文件中的内容。

  

    修改过配置文件之后，保存并退出，在终端输入：

    ssh-keygen -t dsa 

    一路回车即可。然后进入根目录下的.ssh目录下，执行如下命令：

    cat id_dsa.pub >> authorized_keys

    chmod 600 600 ~/.ssh/authorized_keys

    chmod 700 ~.ssh

最后重启ssh服务即可，在centos7中有两种方法如下：

    service sshd restart

    or  

    systemctl restart sshd.service

    接下来我们可以试试是否成功设置了免密登录，在终端输入ssh localhost如果没有让我们输入密码，我们就设置成功，如果还是让我们输入密码，保证前边的步骤都正确的话，可能的原因就是selinux的问题。

    首先我们来确定一下SELinux安全子系统的状态，可以使用 sestatus -v命令来检测，如下图我的是已经关闭了的，他有三种状态“enforcing”，“disabled”，“permissive”

如果没有关闭进入/etc/sysconfig/selinux关闭即可，如下图所示：

    配置好ssh免密登录之后，进行用户组的设置

    groupadd Hadoop

    gpasswd -a hadoop Hadoop

    至此，我们的准备工作已经做完了，下面我们开始搭建hadoop环境了。

    首先我们下载一个hadoop的tar包，并解压到/home/hadoop目录下。下载地址：点击打开链接，我们选择2.7.5版本。

    一、环境变量的配置

1. vim ~/.bash_profile
2. export HADOOP_HOME=~/hadoop-2.7.5
3. export HADOOP_CONF_DIR=~/hadoop-2.7.5/etc/hadoop
4. export YARN_CONF_DIR=~/hadoop-2.7.5/etc/hadoop
5. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
6. source .bash_profile    # 保存退出之后使环境变量生效
7. hadoop version       # 检查是否配置好了环境变量

    二、在hadoop-2.7.5文件夹下创建几个hadoop专用的文件夹

1. mkdir -p tmp
2. mkdir -p hdfs/data
3. mkdir -p hdfs/name
4. mkdir -p mapred/local
5. mkdir -p mapred/system
6. chown -R hadoop:Hadoop ~/hadoop-2.7.5

     三、配置hadoop

    主要是对一下几个配置文件进行配置（etc/hadoop）

1. hadoop-env.sh
2. yarn-env.sh
3. core-site.xml
4. hdfs-site.xml
5. mapred-site.xml
6. yarn-site.xml

    其中1-2是添加JAVA_HOME，2-6都是在 configuration中做一些配置

vim hadoop-env.sh

    vim yarn-env.sh

    vim core-site.xml，在这个配置文件中有一个坑，其中fs.default.name有的地方是fs.default.FS，我在配置的时候使用的是FS，但是最后启动的时候有异常，所以查完资料之后将FS换成了name，就正常启动了。

    vim hdfs-site.xml

    vim mapred-site.xml ,在2.7.5中没有改文件，可以复制mapred-site.xml.template

    vim yarn-site.xml

至此所有配置文件已经完成

四、启动hadoop

    格式化文件系统，本地模式不需要格式化文件系统，这是因为本地模式会启用操作系统本身的文件系统，这里格式化是指创建一个面向hadoop的分布式文件系统 —— HDFS，而不是格式化用户的额硬盘，所以不用担心

    hdfs namenode -format    #注意终端让输入Y/N的时候，请输入大写的Y

如下图中黄框中Exiting with status 0即说明格式化成功，否则请检查配置文件。

    启动hadoop

1. start-dfs.sh
2. start-yarn.sh
3. mr-jobhistory-daemon.sh start historyserver
4. jps

输入jps，如果如下图所示所有进程都起来了，说明hadoop正常启动。

启动成功之后再浏览器中输入localhost:50070来验证，如下图所示：

关闭hadoop

1. mr-jobhistory-daemon.sh stop historyserver
   
2. stop-yarn.sh
   
3. stop-dfs.sh

如果想IP访问，就把配置中的localhost换成IP，并且关闭防火墙，关闭防火墙，关闭防火墙