搭建HDFS完全分布式

前期配置准备

  1. 修改静态IP:修改/etc/sysconfig/network-scripts/ifcfg-eth0
  2. 修改主机名:修改/etc/sysconfig/network文件  HOSTNAME={自定义主机名,如node01}
  3. 关闭防火墙:service iptables stop

进行时间同步

方法一:

  1. 安装ntp:yum install ntp
  2. 网上查找最新的时间服务器,如ntp1.aliyun.com,在所有节点时间同步    ntpdate ntp1.aliyun.com

方法二:

发送date -s "xxxx-xx-xx xx:xx:xx"指令到所有会话

配置免密登录

  1. 所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2. 在node01节点执行,将node01的公钥加入到其他节点的白名单中 ssh-
  • copy-id -i ~/.ssh/id_rsa.pub root@node01
  • ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
  • ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
  • ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

配置/etc/hosts(所有节点内)

192.168.23.128 node01     //写入所有节点的IP+主机名

修改hadoop配置文件

1.修改hdfs-site.xml配置文件
<property>
            <name>dfs.replication</name>
#节点数
            <value>3</value>
</property>
<property>   
            <name>dfs.namenode.secondary.http-address</name>
#SecondaryNode节点
         <value>node02:50090</value>
</property>

2.修改core-site.xml配置文件
<property>
            <name>fs.defaultFS</name>
            <value>hdfs://node01:9000</value>
</property>
<property>
            <name>hadoop.tmp.dir</name>
            <value>/var/abc/hadoop/cluster</value>
</property>

3.修改slaves配置文件
#写入所有DataBode节点
node02 
node03 
node04
 

将配置好的安装包分发到其他节点上(两种方法)

  • scp -r software root@node02:/opt/software/hadoop/
  •  scp -r software root@node02:`pwd`

JDK配置(所有节点)

#卸载旧有jdk
rpm -qa|grep java
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
# vi /etc/profile
export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin  

格式化NameNode并启动HDFS

  1. 将所有的HDFS相关的进程关闭
  2. 在node01节点执行
  • 格式化 :hdfs namenode -format
  • 启动 :start-dfs.sh

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值