Hive Metastore 元数据字典

概述

本文档详细描述了Apache Hive 3.1.3版本中MySQL元数据存储的所有74个表结构,包含每个字段的中文注释说明。


目录

  1. 核心元数据表
  2. 分区管理表
  3. 存储描述符表
  4. 权限管理表
  5. 统计信息表
  6. 事务管理表
  7. 工作负载管理表
  8. 系统管理表
  9. 索引和约束表
  10. 其他功能表
  11. 核心元数据表关联查询SQL示例

核心元数据表

1. TBLS - 表信息

存储Hive中所有表的基本信息

字段名数据类型允许NULL键类型默认值中文说明
TBL_IDbigintNOPRINULL表唯一标识符,主键
CREATE_TIMEintNONULL表创建时间戳
DB_IDbigintYESMULNULL所属数据库ID,外键关联DBS表
LAST_ACCESS_TIMEintNONULL最后访问时间戳
OWNERvarchar(767)YESNULL表所有者用户名
OWNER_TYPEvarchar(10)YESNULL所有者类型(USER/ROLE)
RETENTIONintNONULL数据保留天数
SD_IDbigintYESMULNULL存储描述符ID,外键关联SDS表
TBL_NAMEvarchar(256)YESMULNULL表名称
TBL_TYPEvarchar(128)YESNULL表类型(MANAGED_TABLE/EXTERNAL_TABLE/VIRTUAL_VIEW)
VIEW_EXPANDED_TEXTmediumtextYESNULL视图展开后的SQL文本
VIEW_ORIGINAL_TEXTmediumtextYESNULL视图原始SQL文本
IS_REWRITE_ENABLEDbit(1)NOb’0’是否启用查询重写功能

2. DBS - 数据库信息

存储Hive中所有数据库的信息

字段名数据类型允许NULL键类型默认值中文说明
DB_IDbigintNOPRINULL数据库唯一标识符,主键
DESCvarchar(4000)YESNULL数据库描述信息
DB_LOCATION_URIvarchar(4000)NONULL数据库存储位置URI
NAMEvarchar(128)YESMULNULL数据库名称
OWNER_NAMEvarchar(128)YESNULL数据库所有者名称
OWNER_TYPEvarchar(10)YESNULL所有者类型(USER/ROLE)
CTLG_NAMEvarchar(256)NOMULhive所属目录名称,默认为hive

3. COLUMNS_V2 - 列信息

存储表中所有列的详细信息

字段名数据类型允许NULL键类型默认值中文说明
CD_IDbigintNOPRINULL列描述符ID,联合主键
COMMENTvarchar(256)YESNULL列注释说明
COLUMN_NAMEvarchar(767)NOPRINULL列名称,联合主键
TYPE_NAMEmediumtextYESNULL列数据类型(string, int, bigint等)
INTEGER_IDXintNONULL列在表中的索引位置

分区管理表

4. PARTITIONS - 分区信息

存储分区表的分区信息

字段名数据类型允许NULL键类型默认值中文说明
PART_IDbigintNOPRINULL分区唯一标识符,主键
CREATE_TIMEintNONULL分区创建时间戳
LAST_ACCESS_TIMEintNONULL分区最后访问时间戳
PART_NAMEvarchar(767)YESMULNULL分区名称(如year=2023/month=12)
SD_IDbigintYESMULNULL存储描述符ID,外键关联SDS表
TBL_IDbigintYESMULNULL所属表ID,外键关联TBLS表

5. PARTITION_KEYS - 分区键

存储表的分区键定义

字段名数据类型允许NULL键类型默认值中文说明
TBL_IDbigintNOPRINULL表ID,联合主键
PKEY_COMMENTvarchar(4000)YESNULL分区键注释
PKEY_NAMEvarchar(128)NOPRINULL分区键名称,联合主键
PKEY_TYPEvarchar(767)NONULL分区键数据类型
INTEGER_IDXintNONULL分区键索引位置

6. PARTITION_KEY_VALS - 分区键值

存储分区的具体键值

字段名数据类型允许NULL键类型默认值中文说明
PART_IDbigintNOPRINULL分区ID,联合主键
PART_KEY_VALvarchar(256)YESNULL分区键的具体值
INTEGER_IDXintNOPRINULL键值索引位置,联合主键

7. PARTITION_PARAMS - 分区参数

存储分区的自定义参数

字段名数据类型允许NULL键类型默认值中文说明
PART_IDbigintNOPRINULL分区ID,联合主键
PARAM_KEYvarchar(256)NOPRINULL参数键名,联合主键
PARAM_VALUEmediumtextYESNULL参数值

存储描述符表

8. SDS - 存储描述符

存储表和分区的存储格式信息

字段名数据类型允许NULL键类型默认值中文说明
SD_IDbigintNOPRINULL存储描述符唯一标识符,主键
CD_IDbigintYESMULNULL列描述符ID,外键关联CDS表
INPUT_FORMATvarchar(4000)YESNULL输入格式类(如TextInputFormat)
IS_COMPRESSEDbit(1)NONULL是否压缩存储
IS_STOREDASSUBDIRECTORIESbit(1)NONULL是否以子目录形式存储
LOCATIONvarchar(4000)YESNULL数据文件存储位置URI
NUM_BUCKETSintNONULL分桶数量,-1表示未分桶
OUTPUT_FORMATvarchar(4000)YESNULL输出格式类(如HiveIgnoreKeyTextOutputFormat)
SERDE_IDbigintYESMULNULL序列化器ID,外键关联SERDES表

9. CDS - 列描述符集合

存储列的集合信息

字段名数据类型允许NULL键类型默认值中文说明
CD_IDbigintNOPRINULL列描述符集合ID,主键

10. SERDES - 序列化器

存储序列化/反序列化器信息

字段名数据类型允许NULL键类型默认值中文说明
SERDE_IDbigintNOPRINULL序列化器ID,主键
NAMEvarchar(128)YESNULL序列化器名称
SLIBvarchar(4000)YESNULL序列化器类路径
DESCRIPTIONvarchar(4000)YESNULL序列化器描述
SERIALIZER_CLASSvarchar(4000)YESNULL序列化器类名
DESERIALIZER_CLASSvarchar(4000)YESNULL反序列化器类名
SERDE_TYPEintYESNULL序列化器类型

11. SERDE_PARAMS - 序列化器参数

存储序列化器的配置参数

字段名数据类型允许NULL键类型默认值中文说明
SERDE_IDbigintNOPRINULL序列化器ID,联合主键
PARAM_KEYvarchar(256)NOPRINULL参数键名,联合主键
PARAM_VALUEmediumtextYESNULL参数值

权限管理表

12. DB_PRIVS - 数据库权限

存储数据库级别的权限信息

字段名数据类型允许NULL键类型默认值中文说明
DB_GRANT_IDbigintNOPRINULL数据库权限授予ID,主键
CREATE_TIMEintNONULL权限创建时间戳
DB_IDbigintYESMULNULL数据库ID,外键关联DBS表
GRANT_OPTIONsmallintNONULL是否可以转授权限
GRANTORvarchar(128)YESNULL权限授予者
GRANTOR_TYPEvarchar(128)YESNULL授予者类型(USER/ROLE)
PRINCIPAL_NAMEvarchar(128)YESNULL被授予者名称
PRINCIPAL_TYPEvarchar(128)YESNULL被授予者类型(USER/ROLE)
DB_PRIVvarchar(128)YESNULL数据库权限类型

13. TBL_PRIVS - 表权限

存储表级别的权限信息

字段名数据类型允许NULL键类型默认值中文说明
TBL_GRANT_IDbigintNOPRINULL表权限授予ID,主键
CREATE_TIMEintNONULL权限创建时间戳
GRANT_OPTIONsmallintNONULL是否可以转授权限
GRANTORvarchar(128)YESNULL权限授予者
GRANTOR_TYPEvarchar(128)YESNULL授予者类型(USER/ROLE)
PRINCIPAL_NAMEvarchar(128)YESNULL被授予者名称
PRINCIPAL_TYPEvarchar(128)YESNULL被授予者类型(USER/ROLE)
TBL_PRIVvarchar(128)YESNULL表权限类型
TBL_IDbigintYESMULNULL表ID,外键关联TBLS表

14. TBL_COL_PRIVS - 表列权限

存储表列级别的权限信息

字段名数据类型允许NULL键类型默认值中文说明
TBL_COLUMN_GRANT_IDbigintNOPRINULL表列权限授予ID,主键
COLUMN_NAMEvarchar(767)YESNULL列名称
CREATE_TIMEintNONULL权限创建时间戳
GRANT_OPTIONsmallintNONULL是否可以转授权限
GRANTORvarchar(128)YESNULL权限授予者
GRANTOR_TYPEvarchar(128)YESNULL授予者类型(USER/ROLE)
PRINCIPAL_NAMEvarchar(128)YESNULL被授予者名称
PRINCIPAL_TYPEvarchar(128)YESNULL被授予者类型(USER/ROLE)
TBL_COL_PRIVvarchar(128)YESNULL列权限类型
TBL_IDbigintYESMULNULL表ID,外键关联TBLS表

15. PART_PRIVS - 分区权限

存储分区级别的权限信息

字段名数据类型允许NULL键类型默认值中文说明
PART_GRANT_IDbigintNOPRINULL分区权限授予ID,主键
CREATE_TIMEintNONULL权限创建时间戳
GRANT_OPTIONsmallintNONULL是否可以转授权限
GRANTORvarchar(128)YESNULL权限授予者
GRANTOR_TYPEvarchar(128)YESNULL授予者类型(USER/ROLE)
PART_IDbigintYESMULNULL分区ID,外键关联PARTITIONS表
PRINCIPAL_NAMEvarchar(128)YESNULL被授予者名称
PRINCIPAL_TYPEvarchar(128)YESNULL被授予者类型(USER/ROLE)
PART_PRIVvarchar(128)YESNULL分区权限类型

16. PART_COL_PRIVS - 分区列权限

存储分区列级别的权限信息

字段名数据类型允许NULL键类型默认值中文说明
PART_COLUMN_GRANT_IDbigintNOPRINULL分区列权限授予ID,主键
COLUMN_NAMEvarchar(767)YESNULL列名称
CREATE_TIMEintNONULL权限创建时间戳
GRANT_OPTIONsmallintNONULL是否可以转授权限
GRANTORvarchar(128)YESNULL权限授予者
GRANTOR_TYPEvarchar(128)YESNULL授予者类型(USER/ROLE)
PART_IDbigintYESMULNULL分区ID,外键关联PARTITIONS表
PRINCIPAL_NAMEvarchar(128)YESNULL被授予者名称
PRINCIPAL_TYPEvarchar(128)YESNULL被授予者类型(USER/ROLE)
PART_COL_PRIVvarchar(128)YESNULL分区列权限类型

17. GLOBAL_PRIVS - 全局权限

存储全局级别的权限信息

字段名数据类型允许NULL键类型默认值中文说明
USER_GRANT_IDbigintNOPRINULL全局权限授予ID,主键
CREATE_TIMEintNONULL权限创建时间戳
GRANT_OPTIONsmallintNONULL是否可以转授权限
GRANTORvarchar(128)YESNULL权限授予者
GRANTOR_TYPEvarchar(128)YESNULL授予者类型(USER/ROLE)
PRINCIPAL_NAMEvarchar(128)YESNULL被授予者名称
PRINCIPAL_TYPEvarchar(128)YESNULL被授予者类型(USER/ROLE)
USER_PRIVvarchar(128)YESNULL全局权限类型

18. ROLES - 角色

存储系统角色信息

字段名数据类型允许NULL键类型默认值中文说明
ROLE_IDbigintNOPRINULL角色ID,主键
CREATE_TIMEintNONULL角色创建时间戳
OWNER_NAMEvarchar(128)YESNULL角色所有者名称
ROLE_NAMEvarchar(128)YESNULL角色名称

19. ROLE_MAP - 角色映射

存储用户与角色的映射关系

字段名数据类型允许NULL键类型默认值中文说明
ROLE_GRANT_IDbigintNOPRINULL角色授予ID,主键
ADD_TIMEintNONULL角色添加时间戳
GRANT_OPTIONsmallintNONULL是否可以转授权限
GRANTORvarchar(128)YESNULL权限授予者
GRANTOR_TYPEvarchar(128)YESNULL授予者类型(USER/ROLE)
PRINCIPAL_NAMEvarchar(128)YESNULL被授予者名称
PRINCIPAL_TYPEvarchar(128)YESNULL被授予者类型(USER/ROLE)
ROLE_IDbigintYESMULNULL角色ID,外键关联ROLES表

统计信息表

20. TAB_COL_STATS - 表列统计

存储表列的统计信息

字段名数据类型允许NULL键类型默认值中文说明
CS_IDbigintNOPRINULL列统计ID,主键
CAT_NAMEvarchar(256)NOPRINULL目录名称,联合主键
DB_NAMEvarchar(128)NOPRINULL数据库名称,联合主键
TABLE_NAMEvarchar(256)NOPRINULL表名称,联合主键
COLUMN_NAMEvarchar(767)NOPRINULL列名称,联合主键
COLUMN_TYPEvarchar(128)NONULL列数据类型
TBL_IDbigintNOMULNULL表ID,外键关联TBLS表
LONG_LOW_VALUEbigintYESNULL最小长整型值
LONG_HIGH_VALUEbigintYESNULL最大长整型值
DOUBLE_LOW_VALUEdoubleYESNULL最小双精度值
DOUBLE_HIGH_VALUEdoubleYESNULL最大双精度值
BIG_DECIMAL_LOW_VALUEvarchar(4000)YESNULL最小十进制值
BIG_DECIMAL_HIGH_VALUEvarchar(4000)YESNULL最大十进制值
NUM_NULLSbigintNONULL空值数量
NUM_DISTINCTSbigintYESNULL不同值数量
BIT_VECTORblobYESNULL位向量统计信息
AVG_COL_LENdoubleYESNULL平均列长度
MAX_COL_LENbigintYESNULL最大列长度
NUM_TRUESbigintYESNULL真值数量(布尔类型)
NUM_FALSESbigintYESNULL假值数量(布尔类型)
LAST_ANALYZEDbigintNONULL最后分析时间戳

21. PART_COL_STATS - 分区列统计

存储分区列的统计信息

字段名数据类型允许NULL键类型默认值中文说明
CS_IDbigintNOPRINULL列统计ID,主键
CAT_NAMEvarchar(256)NOMULNULL目录名称
DB_NAMEvarchar(128)NOMULNULL数据库名称
TABLE_NAMEvarchar(256)NOMULNULL表名称
PARTITION_NAMEvarchar(767)NOMULNULL分区名称
COLUMN_NAMEvarchar(767)NOMULNULL列名称
COLUMN_TYPEvarchar(128)NONULL列数据类型
PART_IDbigintNOMULNULL分区ID,外键关联PARTITIONS表
LONG_LOW_VALUEbigintYESNULL最小长整型值
LONG_HIGH_VALUEbigintYESNULL最大长整型值
DOUBLE_LOW_VALUEdoubleYESNULL最小双精度值
DOUBLE_HIGH_VALUEdoubleYESNULL最大双精度值
BIG_DECIMAL_LOW_VALUEvarchar(4000)YESNULL最小十进制值
BIG_DECIMAL_HIGH_VALUEvarchar(4000)YESNULL最大十进制值
NUM_NULLSbigintNONULL空值数量
NUM_DISTINCTSbigintYESNULL不同值数量
BIT_VECTORblobYESNULL位向量统计信息
AVG_COL_LENdoubleYESNULL平均列长度
MAX_COL_LENbigintYESNULL最大列长度
NUM_TRUESbigintYESNULL真值数量(布尔类型)
NUM_FALSESbigintYESNULL假值数量(布尔类型)
LAST_ANALYZEDbigintNONULL最后分析时间戳

事务管理表

22. TXNS - 事务

存储ACID事务信息

字段名数据类型允许NULL键类型默认值中文说明
TXN_IDbigintNOPRINULL事务ID,主键
TXN_STATEchar(1)NONULL事务状态(o=open, a=aborted, c=committed)
TXN_STARTEDbigintNONULL事务开始时间戳
TXN_LAST_HEARTBEATbigintNONULL事务最后心跳时间戳
TXN_USERvarchar(128)NONULL事务发起用户
TXN_HOSTvarchar(128)NONULL事务发起主机
TXN_AGENT_INFOvarchar(128)YESNULL事务代理信息
TXN_META_INFOvarchar(128)YESNULL事务元信息
TXN_HEARTBEAT_COUNTintYESNULL心跳计数
TXN_TYPEintYESNULL事务类型

23. TXN_COMPONENTS - 事务组件

存储事务涉及的表和分区信息

字段名数据类型允许NULL键类型默认值中文说明
TC_TXNIDbigintNOPRINULL事务ID,联合主键
TC_DATABASEvarchar(128)NOPRINULL数据库名称,联合主键
TC_TABLEvarchar(256)YESNULL表名称
TC_PARTITIONvarchar(767)YESNULL分区名称
TC_OPERATION_TYPEchar(1)NONULL操作类型(i=insert, u=update, d=delete)
TC_WRITEIDbigintYESNULL写入ID

24. COMPLETED_TXN_COMPONENTS - 已完成事务组件

存储已完成事务的组件信息

字段名数据类型允许NULL键类型默认值中文说明
CTC_TXNIDbigintNONULL事务ID
CTC_DATABASEvarchar(128)NONULL数据库名称
CTC_TABLEvarchar(256)YESNULL表名称
CTC_PARTITIONvarchar(767)YESNULL分区名称
CTC_TIMESTAMPtimestampYESCURRENT_TIMESTAMP完成时间戳
CTC_WRITEIDbigintYESNULL写入ID
CTC_UPDATE_DELETEchar(1)NONULL更新删除标志

25. HIVE_LOCKS - Hive锁

存储Hive锁信息

字段名数据类型允许NULL键类型默认值中文说明
HL_LOCK_EXT_IDbigintNOPRINULL锁扩展ID,主键
HL_LOCK_INT_IDbigintNONULL锁内部ID
HL_TXNIDbigintYESNULL关联事务ID
HL_DBvarchar(128)NONULL数据库名称
HL_TABLEvarchar(256)YESNULL表名称
HL_PARTITIONvarchar(767)YESNULL分区名称
HL_LOCK_STATEchar(1)NONULL锁状态(a=acquired, w=waiting)
HL_LOCK_TYPEchar(1)NONULL锁类型(r=read, w=write)
HL_LAST_HEARTBEATbigintNONULL最后心跳时间戳
HL_ACQUIRED_ATbigintYESNULL锁获取时间戳
HL_USERvarchar(128)NONULL锁用户
HL_HOSTvarchar(128)NONULL锁主机
HL_HEARTBEAT_COUNTintYESNULL心跳计数
HL_AGENT_INFOvarchar(128)YESNULL代理信息
HL_BLOCKEDBY_EXT_IDbigintYESNULL被阻塞的锁ID
HL_BLOCKEDBY_INT_IDbigintYESNULL被阻塞的内部锁ID

26. NEXT_LOCK_ID - 下一个锁ID

存储下一个可用的锁ID

字段名数据类型允许NULL键类型默认值中文说明
NL_NEXTbigintNONULL下一个锁ID值

27. NEXT_TXN_ID - 下一个事务ID

存储下一个可用的事务ID

字段名数据类型允许NULL键类型默认值中文说明
NT_NEXTbigintNONULL下一个事务ID值

28. COMPACTION_QUEUE - 压缩队列

存储待压缩的表和分区信息

字段名数据类型允许NULL键类型默认值中文说明
CQ_IDbigintNOPRINULL压缩队列ID,主键
CQ_DATABASEvarchar(128)NONULL数据库名称
CQ_TABLEvarchar(256)NONULL表名称
CQ_PARTITIONvarchar(767)YESNULL分区名称
CQ_STATEchar(1)NONULL压缩状态
CQ_TYPEchar(1)NONULL压缩类型(m=major, n=minor)
CQ_TBLPROPERTIESvarchar(2048)YESNULL表属性
CQ_WORKER_IDvarchar(128)YESNULL工作者ID
CQ_STARTbigintYESNULL压缩开始时间戳
CQ_RUN_ASvarchar(128)YESNULL运行用户
CQ_HIGHEST_WRITE_IDbigintYESNULL最高写入ID
CQ_META_INFOblobYESNULL元信息
CQ_HADOOP_JOB_IDvarchar(32)YESNULLHadoop作业ID

29. COMPLETED_COMPACTIONS - 已完成压缩

存储已完成的压缩操作信息

字段名数据类型允许NULL键类型默认值中文说明
CC_IDbigintNOPRINULL已完成压缩ID,主键
CC_DATABASEvarchar(128)NONULL数据库名称
CC_TABLEvarchar(256)NONULL表名称
CC_PARTITIONvarchar(767)YESNULL分区名称
CC_STATEchar(1)NONULL压缩状态
CC_TYPEchar(1)NONULL压缩类型(m=major, n=minor)
CC_TBLPROPERTIESvarchar(2048)YESNULL表属性
CC_WORKER_IDvarchar(128)YESNULL工作者ID
CC_STARTbigintYESNULL压缩开始时间戳
CC_ENDbigintYESNULL压缩结束时间戳
CC_RUN_ASvarchar(128)YESNULL运行用户
CC_HIGHEST_WRITE_IDbigintYESNULL最高写入ID
CC_META_INFOblobYESNULL元信息
CC_HADOOP_JOB_IDvarchar(32)YESNULLHadoop作业ID

工作负载管理表

30. WM_RESOURCEPLAN - 资源计划

存储工作负载管理的资源计划

字段名数据类型允许NULL键类型默认值中文说明
RP_IDbigintNOPRINULL资源计划ID,主键
NAMEvarchar(128)NOUNINULL资源计划名称,唯一
QUERY_PARALLELISMintYESNULL查询并行度
STATUSvarchar(20)NONULL资源计划状态
DEFAULT_POOL_IDbigintYESNULL默认资源池ID

31. WM_POOL - 资源池

存储工作负载管理的资源池信息

字段名数据类型允许NULL键类型默认值中文说明
POOL_IDbigintNOPRINULL资源池ID,主键
RP_IDbigintNONULL资源计划ID,外键关联WM_RESOURCEPLAN表
PATHvarchar(1024)NONULL资源池路径
ALLOC_FRACTIONdoubleYESNULL分配比例
QUERY_PARALLELISMintYESNULL查询并行度
SCHEDULING_POLICYvarchar(1024)YESNULL调度策略

32. WM_TRIGGER - 触发器

存储工作负载管理的触发器信息

字段名数据类型允许NULL键类型默认值中文说明
TRIGGER_IDbigintNOPRINULL触发器ID,主键
RP_IDbigintNONULL资源计划ID,外键关联WM_RESOURCEPLAN表
NAMEvarchar(128)NONULL触发器名称
TRIGGER_EXPRESSIONvarchar(1024)YESNULL触发器表达式
ACTION_EXPRESSIONvarchar(1024)YESNULL动作表达式
IS_IN_UNMANAGEDbit(1)NOb’0’是否在非管理状态

33. WM_POOL_TO_TRIGGER - 资源池触发器映射

存储资源池与触发器的关联关系

字段名数据类型允许NULL键类型默认值中文说明
POOL_IDbigintNOPRINULL资源池ID,联合主键
TRIGGER_IDbigintNOPRINULL触发器ID,联合主键

34. WM_MAPPING - 工作负载映射

存储工作负载映射规则

字段名数据类型允许NULL键类型默认值中文说明
MAPPING_IDbigintNOPRINULL映射ID,主键
RP_IDbigintNONULL资源计划ID,外键关联WM_RESOURCEPLAN表
ENTITY_TYPEvarchar(128)NONULL实体类型(USER/GROUP/APPLICATION)
ENTITY_NAMEvarchar(128)NONULL实体名称
POOL_IDbigintYESNULL资源池ID,外键关联WM_POOL表
ORDERINGintNONULL排序优先级

系统管理表

35. VERSION - 版本信息

存储Hive元数据的版本信息

字段名数据类型允许NULL键类型默认值中文说明
VER_IDbigintNOPRINULL版本ID,主键
SCHEMA_VERSIONvarchar(127)NONULL架构版本号
VERSION_COMMENTvarchar(255)YESNULL版本注释

36. SCHEMA_VERSION - 架构版本

存储数据库架构版本信息

字段名数据类型允许NULL键类型默认值中文说明
SCHEMA_VERSION_IDbigintNOPRINULL架构版本ID,主键
SCHEMA_VERSIONvarchar(127)NONULL架构版本号
VERSION_COMMENTvarchar(255)YESNULL版本注释

37. METASTORE_DB_PROPERTIES - 元数据存储属性

存储元数据存储的配置属性

字段名数据类型允许NULL键类型默认值中文说明
PROPERTY_KEYvarchar(255)NOPRINULL属性键名,主键
PROPERTY_VALUEvarchar(1000)YESNULL属性值
DESCRIPTIONvarchar(1000)YESNULL属性描述

38. SEQUENCE_TABLE - 序列表

存储数据库序列信息

字段名数据类型允许NULL键类型默认值中文说明
SEQUENCE_NAMEvarchar(255)NOPRINULL序列名称,主键
NEXT_VALbigintNONULL下一个序列值

39. NUCLEUS_TABLES - 核心表

存储DataNucleus框架的表信息

字段名数据类型允许NULL键类型默认值中文说明
CLASS_NAMEvarchar(128)NOPRINULL类名,主键
TABLE_NAMEvarchar(128)NONULL表名
TYPEvarchar(4)NONULL类型
OWNERvarchar(2)NONULL所有者
VERSIONvarchar(20)NONULL版本
INTERFACE_NAMEvarchar(255)YESNULL接口名称

索引和约束表

40. IDXS - 索引

存储表索引信息

字段名数据类型允许NULL键类型默认值中文说明
INDEX_IDbigintNOPRINULL索引ID,主键
CREATE_TIMEintNONULL索引创建时间戳
DEFERRED_REBUILDbit(1)NONULL是否延迟重建
INDEX_HANDLER_CLASSvarchar(4000)YESNULL索引处理器类
INDEX_NAMEvarchar(128)YESNULL索引名称
INDEX_TBL_IDbigintYESMULNULL索引表ID,外键关联TBLS表
LAST_ACCESS_TIMEintNONULL最后访问时间戳
ORIG_TBL_IDbigintYESMULNULL原始表ID,外键关联TBLS表
SD_IDbigintYESMULNULL存储描述符ID,外键关联SDS表

41. INDEX_PARAMS - 索引参数

存储索引的配置参数

字段名数据类型允许NULL键类型默认值中文说明
INDEX_IDbigintNOPRINULL索引ID,联合主键
PARAM_KEYvarchar(256)NOPRINULL参数键名,联合主键
PARAM_VALUEmediumtextYESNULL参数值

42. KEY_CONSTRAINTS - 键约束

存储表的主键、外键等约束信息

字段名数据类型允许NULL键类型默认值中文说明
CHILD_CD_IDbigintYESMULNULL子列描述符ID
CHILD_INTEGER_IDXintYESNULL子列索引位置
CHILD_TBL_IDbigintYESNULL子表ID
PARENT_CD_IDbigintYESMULNULL父列描述符ID
PARENT_INTEGER_IDXintYESNULL父列索引位置
PARENT_TBL_IDbigintYESMULNULL父表ID,外键关联TBLS表
POSITIONbigintYESNULL约束中的位置
CONSTRAINT_NAMEvarchar(400)NOPRINULL约束名称,主键
CONSTRAINT_TYPEvarchar(20)NONULL约束类型(PRIMARY KEY/FOREIGN KEY/UNIQUE)
UPDATE_RULEvarchar(20)YESNULL更新规则
DELETE_RULEvarchar(20)YESNULL删除规则
ENABLE_VALIDATE_RELYintNONULL启用验证依赖标志
DEFAULT_VALUEvarchar(400)YESNULL默认值

其他功能表

43. FUNCS - 函数

存储用户定义函数信息

字段名数据类型允许NULL键类型默认值中文说明
FUNC_IDbigintNOPRINULL函数ID,主键
CLASS_NAMEvarchar(4000)YESNULL函数实现类名
CREATE_TIMEintNONULL函数创建时间戳
DB_IDbigintYESMULNULL数据库ID,外键关联DBS表
FUNC_NAMEvarchar(128)YESNULL函数名称
FUNC_TYPEintNONULL函数类型
OWNER_NAMEvarchar(128)YESNULL函数所有者名称
OWNER_TYPEvarchar(10)YESNULL所有者类型(USER/ROLE)

44. FUNC_RU - 函数资源

存储函数的资源文件信息

字段名数据类型允许NULL键类型默认值中文说明
FUNC_IDbigintNOPRINULL函数ID,联合主键
RESOURCE_TYPEintNOPRINULL资源类型,联合主键
RESOURCE_URIvarchar(4000)YESNULL资源URI路径
INTEGER_IDXintNOPRINULL资源索引位置,联合主键

45. TYPES - 类型

存储用户定义类型信息

字段名数据类型允许NULL键类型默认值中文说明
TYPES_IDbigintNOPRINULL类型ID,主键
TYPE_NAMEvarchar(128)YESNULL类型名称
TYPE1varchar(767)YESNULL类型定义1
TYPE2varchar(767)YESNULL类型定义2

46. TYPE_FIELDS - 类型字段

存储用户定义类型的字段信息

字段名数据类型允许NULL键类型默认值中文说明
TYPE_NAMEbigintNOPRINULL类型名称ID,联合主键
COMMENTvarchar(256)YESNULL字段注释
FIELD_NAMEvarchar(128)NOPRINULL字段名称,联合主键
FIELD_TYPEvarchar(767)NONULL字段类型
INTEGER_IDXintNONULL字段索引位置

47. TABLE_PARAMS - 表参数

存储表的自定义参数

字段名数据类型允许NULL键类型默认值中文说明
TBL_IDbigintNOPRINULL表ID,联合主键
PARAM_KEYvarchar(256)NOPRINULL参数键名,联合主键
PARAM_VALUEmediumtextYESNULL参数值

48. DATABASE_PARAMS - 数据库参数

存储数据库的自定义参数

字段名数据类型允许NULL键类型默认值中文说明
DB_IDbigintNOPRINULL数据库ID,联合主键
PARAM_KEYvarchar(180)NOPRINULL参数键名,联合主键
PARAM_VALUEvarchar(4000)YESNULL参数值

49. SD_PARAMS - 存储描述符参数

存储存储描述符的自定义参数

字段名数据类型允许NULL键类型默认值中文说明
SD_IDbigintNOPRINULL存储描述符ID,联合主键
PARAM_KEYvarchar(256)NOPRINULL参数键名,联合主键
PARAM_VALUEmediumtextYESNULL参数值

50. BUCKETING_COLS - 分桶列

存储表的分桶列信息

字段名数据类型允许NULL键类型默认值中文说明
SD_IDbigintNOPRINULL存储描述符ID,联合主键
BUCKET_COL_NAMEvarchar(256)YESNULL分桶列名称
INTEGER_IDXintNOPRINULL列索引位置,联合主键

51. SORT_COLS - 排序列

存储表的排序列信息

字段名数据类型允许NULL键类型默认值中文说明
SD_IDbigintNOPRINULL存储描述符ID,联合主键
COLUMN_NAMEvarchar(767)YESNULL排序列名称
ORDERintYESNULL排序顺序(1=ASC,0=DESC)
INTEGER_IDXintNOPRINULL列索引位置,联合主键

52. SKEWED_VALUES - 倾斜值

存储表的数据倾斜值信息

字段名数据类型允许NULL键类型默认值中文说明
SD_ID_OIDbigintNOPRINULL存储描述符ID,联合主键
STRING_LIST_ID_EIDbigintNOPRINULL字符串列表ID,联合主键
INTEGER_IDXintNOPRINULL索引位置,联合主键

53. SKEWED_COL_NAMES - 倾斜列名

存储表的倾斜列名称

字段名数据类型允许NULL键类型默认值中文说明
SD_IDbigintNOPRINULL存储描述符ID,联合主键
SKEWED_COL_NAMEvarchar(256)YESNULL倾斜列名称
INTEGER_IDXintNOPRINULL列索引位置,联合主键

54. SKEWED_COL_VALUE_LOC_MAP - 倾斜列值位置映射

存储倾斜列值与存储位置的映射关系

字段名数据类型允许NULL键类型默认值中文说明
SD_IDbigintNOPRINULL存储描述符ID,联合主键
STRING_LIST_ID_KIDbigintNOPRINULL字符串列表ID,联合主键
LOCATIONvarchar(4000)YESNULL存储位置URI

55. SKEWED_STRING_LIST - 倾斜字符串列表

存储倾斜值的字符串列表

字段名数据类型允许NULL键类型默认值中文说明
STRING_LIST_IDbigintNOPRINULL字符串列表ID,主键

56. SKEWED_STRING_LIST_VALUES - 倾斜字符串列表值

存储倾斜字符串列表的具体值

字段名数据类型允许NULL键类型默认值中文说明
STRING_LIST_IDbigintNOPRINULL字符串列表ID,联合主键
STRING_LIST_VALUEvarchar(256)YESNULL字符串值
INTEGER_IDXintNOPRINULL值索引位置,联合主键

57. AUX_TABLE - 辅助表

存储辅助表信息

字段名数据类型允许NULL键类型默认值中文说明
MT_KEY1varchar(128)NOPRINULL主键1,联合主键
MT_KEY2bigintNOPRINULL主键2,联合主键
MT_COMMENTvarchar(255)YESNULL注释

58. WRITE_SET - 写入集合

存储事务写入集合信息

字段名数据类型允许NULL键类型默认值中文说明
WS_DATABASEvarchar(128)NOPRINULL数据库名称,联合主键
WS_TABLEvarchar(256)NOPRINULL表名称,联合主键
WS_PARTITIONvarchar(767)YESNULL分区名称
WS_TXNIDbigintNOPRINULL事务ID,联合主键
WS_COMMIT_IDbigintNONULL提交ID
WS_OPERATION_TYPEchar(1)NOPRINULL操作类型,联合主键

59. TXN_TO_WRITE_ID - 事务写入ID映射

存储事务ID与写入ID的映射关系

字段名数据类型允许NULL键类型默认值中文说明
T2W_TXNIDbigintNOPRINULL事务ID,联合主键
T2W_DATABASEvarchar(128)NOPRINULL数据库名称,联合主键
T2W_TABLEvarchar(256)NOPRINULL表名称,联合主键
T2W_WRITEIDbigintNONULL写入ID

60. NEXT_WRITE_ID - 下一个写入ID

存储下一个可用的写入ID

字段名数据类型允许NULL键类型默认值中文说明
NWI_DATABASEvarchar(128)NOPRINULL数据库名称,联合主键
NWI_TABLEvarchar(256)NOPRINULL表名称,联合主键
NWI_NEXTbigintNONULL下一个写入ID值

61. MIN_HISTORY_LEVEL - 最小历史级别

存储表的最小历史保留级别

字段名数据类型允许NULL键类型默认值中文说明
MHL_TXNIDbigintNONULL事务ID
MHL_MIN_OPEN_TXNIDbigintNONULL最小开放事务ID

62. NEXT_COMPACTION_QUEUE_ID - 下一个压缩队列ID

存储下一个可用的压缩队列ID

字段名数据类型允许NULL键类型默认值中文说明
NCQ_NEXTbigintNONULL下一个压缩队列ID值

63. NOTIFICATION_LOG - 通知日志

存储元数据变更通知日志

字段名数据类型允许NULL键类型默认值中文说明
NL_IDbigintNOPRINULL通知日志ID,主键
EVENT_IDbigintNONULL事件ID
EVENT_TIMEintNONULL事件时间戳
EVENT_TYPEvarchar(32)NONULL事件类型
CAT_NAMEvarchar(256)YESNULL目录名称
DB_NAMEvarchar(128)YESNULL数据库名称
TBL_NAMEvarchar(256)YESNULL表名称
MESSAGEmediumtextYESNULL通知消息内容
MESSAGE_FORMATvarchar(16)YESNULL消息格式

64. NOTIFICATION_SEQUENCE - 通知序列

存储通知序列号

字段名数据类型允许NULL键类型默认值中文说明
NS_IDbigintNOPRINULL通知序列ID,主键
NEXT_EVENT_IDbigintNONULL下一个事件ID

65. PARTITION_EVENTS - 分区事件

存储分区相关事件信息

字段名数据类型允许NULL键类型默认值中文说明
PART_NAME_IDbigintNOPRINULL分区名称ID,主键
CAT_NAMEvarchar(256)NONULL目录名称
DB_NAMEvarchar(128)NONULL数据库名称
EVENT_TIMEbigintNONULL事件时间戳
EVENT_TYPEintNONULL事件类型
PARTITION_NAMEvarchar(767)YESNULL分区名称
TBL_NAMEvarchar(256)NONULL表名称

66. I_SCHEMA - 架构信息

存储架构信息

字段名数据类型允许NULL键类型默认值中文说明
SCHEMA_IDbigintNOPRINULL架构ID,主键
SCHEMA_TYPEvarchar(32)NONULL架构类型
NAMEvarchar(256)NOUNINULL架构名称,唯一
DB_IDbigintYESNULL数据库ID,外键关联DBS表
COMPATIBILITYintNONULL兼容性级别
VALIDATION_LEVELintNONULL验证级别
CAN_EVOLVEbit(1)NONULL是否可以演化
SCHEMA_GROUPvarchar(256)YESNULL架构组
DESCRIPTIONvarchar(4000)YESNULL架构描述

67. CTLGS - 目录

存储Hive目录信息

字段名数据类型允许NULL键类型默认值中文说明
CTLG_IDbigintNOPRINULL目录ID,主键
NAMEvarchar(256)NOUNINULL目录名称,唯一
DESCvarchar(4000)YESNULL目录描述
LOCATION_URIvarchar(4000)NONULL目录位置URI

68. MV_CREATION_METADATA - 物化视图创建元数据

存储物化视图的创建元数据

字段名数据类型允许NULL键类型默认值中文说明
MV_CREATION_METADATA_IDbigintNOPRINULL物化视图创建元数据ID,主键
CAT_NAMEvarchar(256)NONULL目录名称
DB_NAMEvarchar(128)NONULL数据库名称
TBL_NAMEvarchar(256)NONULL表名称
TXN_LISTtextYESNULL事务列表
VALID_TXN_LISTtextYESNULL有效事务列表

69. MV_TABLES_USED - 物化视图使用的表

存储物化视图使用的源表信息

字段名数据类型允许NULL键类型默认值中文说明
MV_CREATION_METADATA_IDbigintNOPRINULL物化视图创建元数据ID,联合主键
TBL_IDbigintNOPRINULL表ID,联合主键

70. MATERIALIZATION_REBUILD_LOCKS - 物化视图重建锁

存储物化视图重建过程中的锁信息

字段名数据类型允许NULL键类型默认值中文说明
MRL_TXN_IDbigintNOPRINULL事务ID,主键
MRL_DB_NAMEvarchar(128)NONULL数据库名称
MRL_TBL_NAMEvarchar(256)NONULL表名称
MRL_LAST_HEARTBEATbigintNONULL最后心跳时间戳

71. RUNTIME_STATS - 运行时统计

存储查询运行时统计信息

字段名数据类型允许NULL键类型默认值中文说明
RS_IDbigintNOPRINULL运行时统计ID,主键
CREATE_TIMEintNONULL创建时间戳
WEIGHTbigintNONULL权重值
PAYLOADblobYESNULL载荷数据

72. DELEGATION_TOKENS - 委托令牌

存储Hadoop委托令牌信息

字段名数据类型允许NULL键类型默认值中文说明
TOKEN_IDENTvarchar(767)NOPRINULL令牌标识符,主键
TOKENvarchar(767)YESNULL令牌值

73. MASTER_KEYS - 主密钥

存储加密主密钥信息

字段名数据类型允许NULL键类型默认值中文说明
KEY_IDintNOPRINULL密钥ID,主键
MASTER_KEYvarchar(767)YESNULL主密钥值

74. REPL_TXN_MAP - 复制事务映射

存储复制过程中的事务映射关系

字段名数据类型允许NULL键类型默认值中文说明
RTM_REPL_POLICYvarchar(256)NOPRINULL复制策略,联合主键
RTM_SRC_TXN_IDbigintNOPRINULL源事务ID,联合主键
RTM_TARGET_TXN_IDbigintNONULL目标事务ID

核心元数据表关联查询SQL示例

– 数据粒度说明:
– DBS:数据库级
– TBLS:表级
– SDS/CDS/COLUMNS_V2:列级

– 查询某个数据库下所有表及其所有列信息
SELECT
dbs.DB_ID AS 数据库ID, – 数据库级
dbs.NAME AS 数据库名称,
tbls.TBL_ID AS 表ID, – 表级
tbls.TBL_NAME AS 表名称,
columns.COLUMN_NAME AS 列名称, – 列级
columns.TYPE_NAME AS 列类型,
columns.COMMENT AS 列注释
FROM
DBS dbs
JOIN TBLS tbls ON dbs.DB_ID = tbls.DB_ID
JOIN SDS sds ON tbls.SD_ID = sds.SD_ID
JOIN CDS cds ON sds.CD_ID = cds.CD_ID
JOIN COLUMNS_V2 columns ON cds.CD_ID = columns.CD_ID
WHERE
dbs.NAME = ‘your_database_name’;

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值