hive数据迁移

HDFS迁移

拷贝单个目录或文件

网络互通的两个Hadoop集群中，可执行如下命令，将nn1节点所在集群A上目录a.dir拷贝到nn2节点所在集群B目的b.dir上

hadoop distcp -i hdfs://nn1:8020/a.dir hdfs://nn2:8020/b.dir

详情参考：http://hadoop.apache.org/docs/r1.0.4/cn/distcp.html

Hive迁移

1. 设置默认需要导出的hive数据库为defaultDatabase
   在原集群中的任意节点上，新建“.hiverc”文件，加入如下内容：

vi ~/.hiverc
use defaultDatabase;

defaultDatabase可修改为需要迁移的其它名称

2. 创建数据临时目录

hdfs dfs -mkdir /tmp/hive-export

要从HDFS中删除文件夹，可以使用以下命令：

hadoop fs -rm -r -skipTrash /tmp/hive-export

3. 生成数据导出脚本
   执行如下命令生成数据导出脚本：

hive -e "show tables" | awk '{printf "export table %s to @/tmp/hive-export/%s@;\n",$1,$1}' | sed "s/@/'/g" > export.sql

4. 手工导出数据到HDFS

执行脚本导出数据

hive -f export.sql

5. 下载数据

下载HDFS数据到本地，并传送到目标集群（targetDir为目标集群地址）的/tmp/hive-export目录：

hdfs dfs -get /tmp/hive-export/
scp -r hive-export/ export.sql root@targetDir
hdfs dfs -put hive-export/ /tmp/hive-export

6. 生成数据导入脚本

执行如下命令，复制导出脚本，并将脚本修改为导入脚本：

cp export.sql import.sql
sed -i 's/export table/import table/g' import.sql
sed -i 's/ to / from /g' import.sql

7. 导入数据

hive -f import.sql 

以上内容参考

https://docs.ucloud.cn/analysis/uhadoop/migration

更多内容请参考：

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport#LanguageManualImportExport-Examples

---