轻松完成Hadoop集群数据迁移

01

PART

前言

   在工作当中经常会遇到集群的升级，或者部署新集群，数据迁移的问题，那么本文就演示Apache Hadoop集群和CDH Hadoop集群之间数据互相迁移。本文不介绍集群之间的搭建，只演示数据之间的迁移。

---

 

 

02

PART

环境准备

    准备两套集群，我这使用阿里云部署了Apache集群和CDH集群。并启动集群

 

启动完毕后，将Apache集群中，hive库里dwd,dws,ads三个库的数据迁移到CDH集群

在Apache集群里hosts加上CDH Namenode对应域名并分发给各机器

 

[root@hadoop101 ~]# vim /etc/hosts

•  

[root@hadoop101 ~]# scp /etc/hosts hadoop102:/etc/                                                                                        [root@hadoop101 ~]# scp /etc/hosts hadoop103:/etc/

 

---

 

03

PART

编辑集群配置文件

 

   因为集群都是HA模式，所以需要在Apache集群上配置CDH集群的nameservice,让distcp命令能识别出CDH的namespace。编辑hdfs-site.xml

[root@hadoop101 hadoop]# vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml<property>  <name>dfs.nameservices</name>  <value>mycluster,nameservice1</value></property> <property>  <name>dfs.internal.nameservices</name>  <value>mycluster</value></property><property>  <name>dfs.ha.namenodes.mycluster</name>