Hadoop的安装与配置v1.0-Hadoop2.x

1 虚拟机创建

为了方便研究学习，我们在windows中用vmware创建虚拟机的方式来装hadoop，实际环境直接在linux中装hadoop。

2 Linux安装

等待安装


安装完成

3 配置网络

未配置网络前无法访问外网

修改配置信息

同时查看vmware的网络配置

确认网管的地址

重启网络

service network start

如果是centos7
systemctl restart network

设置DNS服务


现在能ping通了

4 克隆节点

首先将masternode关机
拍摄一个快照

克隆完成

克隆节点与被克隆节点信息完全一致，需要进行网络的重新配置

1 修改ip

2 删除70-persistent-net.rules文件

3 重命名主机

如果是centos7
vi /etc/hostname

4 重启

5修改hosts文件，使得master与slave互相认识

slave同理

ping master和网关

完成！！

5 SSH 免密登陆

为了方便操作，我们装个xshell
新建会话

5.1 关闭防火墙

查看防火墙状态
service iptables status
停止防火墙
service iptables stop 
永久关闭防火墙
chkconfig iptables off

如果是centos7
查看防火墙状态
systemctl status firewalld.service
停止防火墙
systemctl stop firewalld.service
永久关闭防火墙
systemctl disable firewalld.service

5.2 产生秘钥

ssh-keygen -t rsa -P ''

scp ~/.ssh/id_rsa.pub root@192.168.245.151:~

文件传过来了发现

把传过来的文件内容添加到authorized_keys中

免密登陆成功

6 安装配置JDK

6.1 上传jdk安装包

6.2 安装JDK

rpm -ivh jdk-7u79-linux-x64.rpm

6.3 配置环境变量

vi ~/.bash_profile

是配置文件生效

source ~/.bash_profile

java -version

完成！！

7 Hadoop安装配置

7.1 上传hadoop安装包

解压

tar zxvf hadoop-2.7.0.tar.gz 

7.2 配置环境变量HADOOP_HOME

vim ~/.bash_profile
source ~/.bash_profile

7.3 修改配置文件

vim /opt/software/hadoop-2.7.0/etc/hadoop/hadoop-env.sh

8 Hadoop分布式安装

8.1 伪分布式安装

1） 进入配置目录

cd /opt/software/hadoop-2.7.0/etc/hadoop/

2. 修改core-site.xml

vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3） 修改hdfs-site.xml

vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4 ） 格式化hdfs

hdfs namenode -format

5) 启动hdfs

start-dfs.sh

虽然启动成功但是，还要输入密码，配置自己免密登陆自己

配置自己免密登陆自己

cd ~/.ssh/
cat id_rsa.pub >> authorized_keys

重新启动后确实不用输入密码了

伪分布式完成！！

8.2 完全分布式安装

1）修改core-site.xml

cd /opt/software/hadoop-2.7.0/etc/hadoop

vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://masternode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.0/data</value>
    </property>
</configuration>

2) 修改hdfs-site.xml

vim hdfs-site.xml

3) 配置masternodes和slavenodes

cd /opt/software/hadoop-2.7.0/etc/hadoop
echo masternode >> masters
echo masternode >> slaves
echo slavenode >> slaves

4) 复制文件到slavenode里
a. 复制hadoop文件夹

scp -r /opt/software/hadoop-2.7.0 root@192.168.245.151:/opt/software/

b. 复制bash_profile

scp ~/.bash_profile root@192.168.245.151:~

c. 复制hosts文件

scp /etc/hosts root@192.168.245.151:/etc/hosts

5） 格式化HDFS

hdfs namenode -format

6) 启动hdfs集群

start-dfs.sh

7. 测试访问