【毕设环境】配置Centos6、安装Hadoop伪分布

**

安装Centos6

**
一、下载Centos6.10安装包，链接。在VMWare中进行安装。

二、 设置虚拟机固定ip

1. 编辑->虚拟网络编辑器->设备NAT模式->查看网关。
   
   虚拟机右击->设置NAT模式

2. 修改网卡配置。编辑：vi /etc/sysconfig/network-scripts/ifcfg-eth0

3. 修改网关配置。编辑：vi /etc/sysconfig/network　
修改主机名为hadoop01，网关为刚才查看的网关。

修改主机名配置：vi /etc/hosts，后重启reboot立刻生效。

4. 修改DNS配置。编辑：vi /etc/resolv.conf

三、 关闭防火墙
临时关闭(立即生效)：service iptables stop
永久关闭（重启生效）：chkconfig iptables off
查看防火墙状态：service iptables status

四、安装相关服务
1.安装ssh客户端：yum install -y openssh-clients

五、配置主机名与IP地址的对应关系

vi /etc/hosts
#添加以下
192.168.244.100 hadoop01
192.168.244.101 hadoop02
192.168.244.102 hadoop03

六、配置SSH免密登录

ssh-keygen -t rsa		//秘钥生成器，一直回车
cd /root/.ssh
cp id_rsa.pub authorized_keys		//将三台机器的公钥放进一个认证文件，然后将该文件分发给三台机器

安装Hadoop集群

一、准备软件、文件夹
java版本：jdk-8u211-linux-x64.tar.gz
Hadoop版本：hadoop-2.7.6.tar.gz
root下新建soft文件夹放置软件安装包，新建program文件夹安装软件

二、安装Java
1.解压：tar zxvf jdk-8u211-linux-x64.tar.gz -C ./…/program
2.配置jdk环境变量：vi /etc/profile

#Java Enviroment
JAVA_HOME=/root/program/jdk1.8.0_211
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export JAVA_HOME PATH CLASS

生效环境变量：source /etc/profile
查看java版本：java -version

三、安装Hadoop
1.解压：tar zxvf hadoop-2.7.6.tar.gz -C ./…/program
2.配置Hadoop环境变量：vi /etc/profile

#Hadoop Enviroment
HADOOP_HOME=/root/program/hadoop-2.7.6
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH
export HADOOP_HOME PATH CLASSPATH

生效环境变量：source /etc/profile
查看hadoop版本：hadoop version

3.查找java_home：echo $JAVA_HOME
4.修改文件：/root/program/hadoop-2.7.6/etc/hadoop/hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/root/program/jdk1.8.0_211

5.修改文件：yarn-env.sh

#echo "run java in $JAVA_HOME"
  JAVA_HOME=/root/program/jdk1.8.0_211

6.修改文件：core-site.xml
在/root/program下新建文件夹data，在data下新建文件夹tmp

<configuration>
  <property>
    <name>fs.defaultFS</name> #指定namenode的通信地址 
   <value>hdfs://hadoop01:9000</value> 
  </property>
  <property> 
    <name>hadoop.tmp.dir</name> #指定运行中产生数据的存放目录
    <value>/root/program/data/tmp/</value> 
  </property>
</configuration>

7.修改hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>    <!-- 伪分布式备份数量为1 -->
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name> 	<!-- HDFS对应的HTTP服务器地址和端口 -->
    <value>hadoop01:9001</value>    
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>	<!-- HDFS名称节点在本地文件系统的位置-->
    <value>file:/root/program/data/tmp/dfs/name</value>    
  </property>
    <property>
    <name>dfs.datanode.data.dir</name>	<!-- HDFS数据节点在本地文件系统的位置-->
    <value>file:/root/program/data/tmp/dfs/data</value>    
  </property>
</configuration>

8.复制mapred-site.xml.template文件，将副本命名为“mapred-site.xml”，然后修改此文件。

<configuration>
  <property>	<!-- 使用YARN集群进行资源的分配-->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

9.修改文件：yarn.site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
  
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop01:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop01:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop01:8031</value>
  </property>
</configuration>

10.修改slaves文件，将DataNode的主机名都添加进去

hadoop01
hadoop02
hadoop03

11.执行命令启动Hadoop集群

#格式化NameNode（只格式化一次，以后启动不必再格式化）
cd /root/program/hadoop-2.7.6/bin/
./hadoop namenode -format

#启动Hadoop集群
cd /root/program/hadoop-2.7.6/sbin/
./start-all.sh

#关闭Hadoop集群
./stop-all.sh

可以通过网址查看HDFS：http://192.168.244.100：50070