来源:https://www.bilibili.com/video/av36033875?from=search&seid=12700632591522714293
1 服役新数据节点
- 需求:
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
1.1 环境准备
(1)克隆一台虚拟机
(2)修改ip地址和主机名称
(3)修改xcall和xsync文件,增加新增节点的同步
(4)删除原来HDFS文件系统留存的文件(还有ssh)
/opt/module/hadoop-2.7.2/data
1.2 服役新节点具体步骤
1.2.1
在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
[root@pdc4 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[root@pdc4 hadoop]$ touch dfs.hosts
[root@pdc4 hadoop]$ vi dfs.hosts
添加如下主机名称(包含新服役的节点)
pdc
pdc2
pdc3
pdc4
1.2.2
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
集群启动的时候,加载slave,为静态,动态的话就需要配置dfs.hsots
<property>
<name>dfs.hosts