CDH 之 hive 数据迁移_cdh数据互导(1)，2024年最新字节跳动资深面试官亲述

最新推荐文章于 2024-10-13 10:43:46 发布

2401_84150530

最新推荐文章于 2024-10-13 10:43:46 发布

阅读量701

点赞数 20

分类专栏：程序员文章标签： hive hadoop 数据仓库

本文链接：https://blog.youkuaiyun.com/2401_84150530/article/details/137702290

版权

程序员专栏收录该内容

29 篇文章

订阅专栏

    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)

)


        报错的原因是：Hive没有足够的权限来在HDFS上创建数据库目录。默认情况下，Hive使用当前用户的身份来执行操作，因此需要确保当前用户（在这种情况下为“root”）具有在HDFS上创建目录的权限，或者进入 hdfs 用户进行操作


（1）用如下命令创建数据库：

#查看 hive 是否有 /user 目录的权限
[root@hadoop105 hive_db]# hdfs dfs -ls /
drwxr-xr-x - hdfs hadoop 0 2023-05-26 17:52 /user
#如下操作创建数据库
[root@hadoop105 hive_db]# su - hdfs
Last login: Fri May 26 17:49:25 CST 2023 on pts/1
#进入hive交互命令行执行 create database test;
[hdfs@hadoop105 ~]$ hive
hive> create database test;
#或者直接用下面命令创建数据库
[hdfs@hadoop105 ~]$ hive -e “create database test;”


（2）导入 tables.sql

tables.sql 文件删除 LOCATION 到下一条 create 命令直接的内容

LOCATION
'hdfs://hadoop40/user/hive/warehouse//

#可以用如下正则表达式进行批量删除：(即删除从LOCATION开始到下一个CREATE前的内容，改表达式的最后一个LOCATION需要手动删除)
:g/LOCATION/,/CREATE/-1d

#进行导入：
[root@hadoop105 ~]# su - hdfs
[hdfs@hadoop105 ~]$ hive
hive> use test;
hive> source /path/to/destination/tables.sql

#出现错误：
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hive-common-2.1.1-cdh6.3.2.jar!/hive-log4j2.properties Async: false
FAILED: ParseException line 42:0 missing EOF at ‘CREATE’ near ‘)’
#语法错误，这是因为导出的sql文件中，create() 和 create() 语句直接结束后没有分号隔开
create(
***
***
);
create();
create()
#可以使用如下正则表达式进行批量修改：(其中，g/CREATE.*/-1表示从匹配CREATE的行开始，到上一行结束；s/ $/; / g 表示在行末添加分号，多个 CRE A TE 情况下，第一个 CRE A TE 第一行末尾可能出现分号，需要手动删除) : g / CRE A TE . * / - 1 s /$ /;/g


（3）元数据导入成功之后，/user/hive/warehouse 下会生成 test.db 目录，下面包含了创建的表信息

#将test.db目录下的文件删除（因为 tables.sql 导入成功后，表的内容是空的，我们要把之前复制的数据库文件拷贝过来替换，所以需要把表文件删除）
[hdfs@hadoop105 ~]$ hdfs dfs -rm -r /user/hive/warehouse/test.db/*


（4）最后进行数据导入，这里也只测试了其中一个表数据

#将整个ods库内容导入到/user/hive/warehouse
[hdfs@hadoop105 ~]$ hdfs dfs -put /var/lib/hadoop-hdfs/test.db/* /user/hive/warehouse/test.db/
[hdfs@hadoop105 ~]$ hdfs dfs -ls /user/hive/warehouse/test.db
Found 49 items
drwxr-xr-x - hive hadoop 0 2023-06-30 11:05 /user/hive/warehouse/test.db/table01
drwxr-xr-x - hive hadoop 0 2023-06-30 11:05 /user/hive/warehouse/test.db/table02
drwxr-xr-x - hive hadoop 0 2023-06-30 11:05 /user/hive/warehouse/test.db/table03
drwxr-xr-x - hive hadoop 0 2023-06-30 11:05 /user/hive/warehouse/test.db/table04
drwxr-xr-x - hive hadoop 0 2023-06-30 11:05 /user/hive/warehouse/test.db/table05
…

#单独导出表就具体到表名字
hadoop fs -get /user/hive/warehouse/test.db/table01 /path/to/destination/

#此处只单独测试表 table001 导入（导入一般很快，不会有其他信息输出）
[hdfs@hadoop105 ~]$ hdfs dfs -put /path/to/destination/table01 /user/hive/warehouse/test.db/

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。