Hive元数据在MySQL的存储逻辑及关系

本文深入探讨了Hive元数据的存储方式,特别是在MySQL数据库中的组织结构。文章详细介绍了核心元数据表,如version、DBS、TBLS、SDS等,以及它们之间的关联关系,揭示了Hive如何管理和维护其元数据。

在大数据中,很多情况下是将hive的元数据存放在mysql数据库中,通过hive配置的连接字符串:

   <property>

           <name>javax.jdo.option.ConnectionURL</name>

           <value>jdbc:mysql://localhost:3306/hive3?createDatabaseIfNotExist=true</value>

   </property>

能确认连接的mysql的哪个库。

现在分析下常用元数据中表有什么关联关系
1、hive版本的元数据表(version)
在这里插入图片描述
如果该表出现问题,根本进入不了Hive-Cli。

比如该表不存在,当启动Hive-Cli时候,就会报错”Table ‘hive.version’ doesn’t exist”。
2、hive数据库相关元数据表(DBS、DATABASE_PARAMS)

DBS:hive中所有数据库的基本信息
在这里插入图片描述
DATABASE_PARAMS:


3、hive 表和视图相关的元数据表

TBLS 存储 hive 表、视图、索引表的基本信息
在这里插入图片描述
在这里插入图片描述
TABLE_PARAMS 存储 表、视图 的属性信息
在这里插入图片描述
TBL_PRIVS

4、Hive 文件存储信息相关的元数据SDS、SD_PARAMS、SERDES、SERDE_PARAMS

SDS 存储文件存储的基本信息:
在这里插入图片描述
SD_PARAMS 空
SERDES
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
从以上这些表中,可以看到这些表由几个关键字作为连接的:

DB_ID 、TBL_ID、SD_ID、CD_ID、SERDE_ID 、PART_ID
各表关系图【主键】:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值