前期配置准备
- 修改静态IP:修改/etc/sysconfig/network-scripts/ifcfg-eth0
- 修改主机名:修改/etc/sysconfig/network文件 HOSTNAME={自定义主机名,如node01}
- 关闭防火墙:service iptables stop
进行时间同步
方法一:
- 安装ntp:yum install ntp
- 网上查找最新的时间服务器,如ntp1.aliyun.com,在所有节点时间同步 ntpdate ntp1.aliyun.com
方法二:
发送date -s "xxxx-xx-xx xx:xx:xx"指令到所有会话
配置免密登录
- 所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
- 在node01节点执行,将node01的公钥加入到其他节点的白名单中 ssh-
- copy-id -i ~/.ssh/id_rsa.pub root@node01
- ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
- ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
- ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
配置/etc/hosts(所有节点内)
192.168.23.128 node01 //写入所有节点的IP+主机名
修改hadoop配置文件
1.修改hdfs-site.xml配置文件
<property>
<name>dfs.replication</name>
#节点数
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
#SecondaryNode节点
<value>node02:50090</value>
</property>
2.修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/cluster</value>
</property>
3.修改slaves配置文件
#写入所有DataBode节点
node02
node03
node04
将配置好的安装包分发到其他节点上(两种方法)
- scp -r software root@node02:/opt/software/hadoop/
- scp -r software root@node02:`pwd`
JDK配置(所有节点)
#卸载旧有jdk
rpm -qa|grep java
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
# vi /etc/profile
export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
格式化NameNode并启动HDFS
- 将所有的HDFS相关的进程关闭
- 在node01节点执行
- 格式化 :hdfs namenode -format
- 启动 :start-dfs.sh