hadoop跨KDC集群离线割接数据（hbase，hive元数据恢复）

原创

于 2020-08-13 11:31:19 发布 · 332 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hive #hbase #hadoop

本文介绍了如何在开启和未开启Kerberos的情况下，进行Hadoop集群之间的HBase表迁移。包括使用hadoop fs命令、scp和webhdfs方式的数据复制，以及HBase和Hive元数据的恢复步骤。对于开启Kerberos的集群，还详细说明了关闭安全验证、调整配置和重启集群的步骤。

hbase表跨集群迁移

未开启kerberos集群：

hadoop fs -copyToLocal /hbase/data/default/user_feature /data/tocdh516data/user_feature
scp -r user_feature/ root@X.X.X.X:/data/hbase_data
##新集群hbase用户执行
hadoop fs -copyFromLocal /data/hbase_data/user_feature /hbase/data/default
hbase hbck -fixMeta
hbase hbck -fixAssignments

(以上不推荐，建议webhdfs方式，亲测割接PB级集群)

webhdfs方式
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -m 200 /hbase/data/default/bill_fee_1906 webhdfs://X.X.X.X:50070/hbase/data/default
###新集群hdfs用户执行
hadoop fs -chown -R hbase:hbase /hbase/data/default

##新集群hbase用户执行
hbase hbck -fixMeta
hbase hbck -fixAssignments

开启kerberos集群复制，KDC互信不好使，直接关闭接受数据端集群kerberos

Zookeeper
enableSecurity (Enable Kerberos Authentication) : false
zoo.cfg 的Server 高级配置代码段（安全阀）写入skipACL: yes
Enable Server to Server SASL Authentication
quorum.auth.enableSasl
HDFS
hadoop.sec

最低0.47元/天解锁文章