hadoop集群部署

配置用户

设置新账户<登录配置>

useradd hadoop
passwd hadoop

设置ip<登录配置>

vim /etc/sysconfig/network-scripts/ifｃfg-eth0

BOOTPROTO=static　//静态地址
ONBOOT=yes //开机启动
IPADDR=192.168.０.101　//ｉｐ地址,不同的机器配不同的ip
NETMASK=255.255.255.0　//掩码
GATEWAY=192.168.０.1//网关
DNS1=8.8.8.8

关闭防火墙<登录配置>

1. 查看iptables状态
   service iptables status
2. 开启/关闭iptables
   service iptables start
   service iptables stop
3. 查看iptables是否开机启动
   chkconfig iptables –list
4. 设置iptables开机启动/不启动
   chkconfig iptables on
   chkconfig iptables off

安装ssh<登录配置>

sudo yum install openssh-clients

配置hosts<分发配置>

vi /etc/hosts

192.168.0.221   hadoop01
192.168.0.222   hadoop02
192.168.0.223   hadoop03
192.168.0.224   hadoop04

2.分发

设置sudoers<分发配置>

hadoop ALL=(ALL)    ALL//给hadoop用户添加sudo方法

2.sudo scp

配置免秘钥登录<分发配置><普通用户>

ssh-keygen
ssh-copy-id hadoop01　hadoop02 //这里要给自己发一个秘钥，因为hadoop所有的通信都是基于ssh的

配置环境变量<分发配置>

sudo vi /etc/profile //使用vi :r可以快速找到路径

export JAVA_HOME=/home/hadoop/bigdata/jdk1.8.0_144
export HADOOP_HOME=/home/hadoop/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.分发环境变量配置文件
sudo scp

hadoop配置

切换到普通用户

hadoop-env.sh

export JAVA_HOME=$JAVA_HOME//更改为真实路径

core-site.xml

//配置默认文件系统(可以fat32，ntfs,这里使用hdfs
//配置文件系统的端口，URI
//配置进程临时文件的存储路径

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hdtmp</value>
</property>

hdfs-site.xml

//配置hdfs文件备份数量默认是3

<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>

mapred-site.xml.template

记得mv把.template去掉,//设置在哪个框架上跑,默认是local在单机上跑

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

yarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

2.分发hadoop文件和jdk文件<分发配置><普通用户>
scp -r

配置slaves

在slaves后面添加如下

hadoop02
hadoop03
hadoop0４

安装完成

重启机器

hdfs格式化

hdfs namenode -format