hadoop搭建

首先安装好Linux
1、配置网卡

vi /etc/sysconfig/network-scripts/ifcfg-eth0

进入ip地址的修改界面
删除UUID，
添加
	IPADDR=
	NETWASK=
	GATEWAY=
	DNS1=
	DNS2=

2、配置主机名

vi /etc/sysconfig/network

3、关闭防火墙
暂时关闭

service iptables stop
永久关闭

4、安装ssh客户端

yum install -y openssh-clients

5、克隆虚拟机
克隆完之后，进入克隆后的虚拟机修改ip

``vi /etc/udev/rules.d/70-persistent-net.rules``
进去后，删除eth0，将eth1改为eth0

6、参照1修改ip
7、修改主机名

vi /etc/sysconfig/network

8、重启虚拟机
9、hosts映射 ，windows和linux都需要设置
C:\Windows\System32\drivers\etc\hosts
添加虚拟机的ip和主机名

vi /etc/hosts

10、免密登录
在虚拟机的ssh脚本中执行
https://blog.youkuaiyun.com/HANLIPENGHANLIPENG/article/details/52791263
11、安装jdk
得到压缩包

 tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/
 配置环境变量


 vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_102
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile

12、安装hadoop
上传安装包
安装好后在安装路径下的
etc/hadoop-xxx/hdfs-site.xml中的JAVA改为：
export JAVA_HOME=/usr/local/jdk1.8.0_102

vi hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_102

vi core-site.xml

Namenode在哪里 ，临时文件存储在哪里
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop3801:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
</configuration>

vi hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>hadoop3801:50090</value>
</property>
</configuration>

cp mapred-site.xml.tmp* mapred-site.xml
vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

vi slaves

Hadoop02
Hadoop03

hadoop的path

13、把第一台安装好的jdk和hadoop以及配置好的文件分别发送给其他的克隆虚拟机
hosts文件
jdk安装后的文件夹
Hadoop安装后的文件夹
/etc/profile 文件

scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/

14、初始化hdfs （只需要操作一次）

hadoop namenode -format

15、启动hdfs

start-dfs.sh

启动YARN

start-yarn.sh

当然也可以

start-all.sh

16、大功告成，你可以通过主机名加刚才设置好的接口在页面查看你的hadoop集群