Hive元数据在MySQL中的存储结构

最新推荐文章于 2024-07-20 14:06:12 发布
原创 最新推荐文章于 2024-07-20 14:06:12 发布 · 2.5k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Hive元数据在MySQL中的存储结构，包括存储Hive版本的VERSION表，Hive数据库相关的DBS和DATABASE_PARAMS表，表和视图相关的TBLS、TABLE_PARAMS和TAB_COL_STATS表，以及表分分区相关的PARTITIONS等元数据表。这些表共同构成了Hive元数据管理系统，对于理解和管理Hive至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

元数据表有以下：

| BUCKETING_COLS            |
| CDS                       |
| COLUMNS_V2                |
| DATABASE_PARAMS           |
| DBS                       |
| FUNCS                     |
| FUNC_RU                   |
| GLOBAL_PRIVS              |
| PARTITIONS                |
| PARTITION_KEYS            |
| PARTITION_KEY_VALS        |
| PARTITION_PARAMS          |
| PART_COL_STATS            |
| ROLES                     |
| SDS                       |
| SD_PARAMS                 |
| SEQUENCE_TABLE            |
| SERDES                    |
| SERDE_PARAMS              |
| SKEWED_COL_NAMES          |
| SKEWED_COL_VALUE_LOC_MAP  |
| SKEWED_STRING_LIST        |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES             |
| SORT_COLS                 |
| TABLE_PARAMS              |
| TAB_COL_STATS             |
| TBLS                      |
| VERSION 

1、存储Hive版本的元数据表(VERSION)

VER_ID

SCHEMA_VERSION

VERSION_COMMENT

ID主键

Hive版本
最低0.47元/天 解锁文章

200万优质内容无限畅学
mysql元数据解析hive表结构
bingoabin
04-10 413
1.mysql表中元数据 dbs表 CREATE TABLE `dbs` ( `DB_ID` bigint(20) NOT NULL, `DESC` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL, `DB_LOCATION_URI` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL, `NAME` varchar(128) CH
【Hive】使用MySQL存储元数据
sofeld的博客
07-06 763
交互式命令问题 现象： bin/hive这个交互性命令行不能同时开多个，开第二个就报错了 原因 hive中无论是创建的 数据库还是表 ，这些元数据metaStore需要存储 默认情况下存储在Derby数据库里面的，属于嵌入式数据，每次仅仅支持一个会话， 解决： 使用支持多个会话的数据，推荐MySQL存储元素（官方推荐） 配置使用MYSQL存储元素 文档: https://cwiki.apache...
hive元数据存储在mysql中,Hive如何将元数据存储到MySQL
weixin_36304806的博客
03-19 1017
1,Hive默认的数据库存储位置Hive的元数据存储默认是用Derby数据库存储的,之前遇到过,当退出后，切换到不同的目录来进入hive，发现库和表没有了，是因为，第一次从bin目录进入hive,会在bin目录下创建一个metastore.db目录，在这个目录下，创建一个derby.log文件来存储元数据信息。这个元数据信息是基于bin目录来创建的。而切换到其他目录进入hive时，查询时不是基于b...
Hive-mysql存储元数据
北城以北爱荒凉
07-15 1366
    Hive中的数据保存在hdfs中，主要根据HADOOP_HOME环境变量来获取hadoop的配置信息。hive中除了hdfs外，还需要保存描述库、表的数据，称为元数据。元数据默认由hive内置的derby数据库进行存储，默认存放在hive/bin/metastore.db中。    可以将hive默认元数据存储的数据库改为mysql。    修改为mysql数据库，需要在hive/lib下...
hadoop元数据mysql中表字段_Hive 元数据表结构详解
weixin_35843830的博客
02-15 251
元数据是基础，这篇文章值得一读。本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。1、存储Hive版本的元数据表(VERSION)该表比较简单，但很重要。VER_IDSCHEMA_VERSIONVERSION_COMMENTID主键Hive版本版本说明11.1.0Set by MetaStore如果该表出现问题，根本进入不了H...
配置Hive元数据存储到MySQL
最新发布
Byyyi耀的博客
07-20 1037
配置Hive元数据存储到MySQL
Hive学习-配置hive元数据存储到MySQL
HaveAGoodDay428的博客
02-23 635
配置hive存储到mysql
Hive metastore 使用达梦数据库存储元数据
05-10
通常，Hive元数据默认存储在MySQL或Derby等关系型数据库中。然而，为了适应更复杂的业务需求和更高的性能，我们可以选择将Hive元数据存储在达梦数据库中。本文将详细介绍如何配置Hive metastore以使用达梦数据库。 ...
Hive元数据
qq_62379241的博客
06-22 1708
元数据表名（MySQL hive数据库中）说明VERSION存储Hive版本存储与Hive数据库相关信息存储Hive表相关信息存储Hive文件存储相关信息存储分区相关信息COLUMNS_V2存储表对应的字段信息CDS记录Columns_v2中所有的CD_IDDB_PRIVS数据库权限信息表IDXS索引表表字段统计信息表字段授权信息PAPT_PRIVS分区授权信息。
Hive入门教程＜4＞ | hive在分布式集群中解决hive元数据存储到mysql问题
懵懂bigdata象
11-05 2310
在centos7中安装MySQL-5.6办法 为了解决hive元数据存储问题安装MySQL-5.6，但是发现安装MySQL-server时无法安装成功的问题。 体现在两点: var/lib/目录下没有mysql目录； 在root/目录下没有.mysql_secret文件查看mysql的初始密码 rpm -qa | grep MySQL hive默认的元数据metastore是存储在自带的derby数据库中，在这里我们安装MySQL来存储Hive的Metastore
centos 7 hive mysql_Hive数据的存储以及在centos7下进行Mysql的安装
weixin_39581571的博客
01-27 196
@实际数据的存储Hive要分析的数据是存储在HDFS上hive中的库的位置，在hdfs上就是一个目录！hive中的表的位置，在hdfs上也是一个目录，在所在的库目录下创建了一个子目录！hive中的数据，是存在在表目录中的文件！分隔符表在创建时，有分隔符属性，这个分隔符属性，代表在执行MR程序时，使用哪个分隔符去分割每行中的字段！查看表(实际在HDFS中也是一个文件)中的所有内容(包括分隔符)：ca...
hive元数据信息对应的MySQL数据库表
chengbai121444的博客
03-12 3528
目录 概述 一、存储hive版本的原数据表（VERSION） 二、元数据表（DBS、DATABASE_PARAMS） 三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联） 四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS） 五、表字段相关的元数据表（COLUMNS_V2）...
Hive元数据在MySQL的存储逻辑及关系
shuimofengyang的博客
01-28 730
在大数据中，很多情况下是将hive的元数据存放在mysql数据库中，通过hive配置的连接字符串： <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive3?cre...
Hive知识梳理
RuiLearn的博客
11-18 4724
Hive是建立在 Hadoop 上的数据仓库基础构架。可以将SQL查询转换为MapReduce的job在Hadoop集群上执行。
Hive简介及元数据存储（Metastore的三种配置方式）
IT Baicn的博客
12-26 7777
一 Hive介绍 Hive是基于Hadoop的一个数据仓库，Hive能够将SQL语句转化为MapReduce任务进行运行。 　　Hive架构图分为以下四部分： 　　 1、Hive有三个用户接口： a. 命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作 b. Web界面：通过Web方式进行访问。　　　　　 c. Hive的远程服务方式：通过JDBC等方式进行访问。　　　　　　　...
Hive存储原理，数据库/表基本操作
zhsworld的博客
04-06 821
官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual 一 数据存储 Hive 数据分两部分：一部分是真实的数据文件，存放在hdfs上；另一份是真实数据的元数据（即数据的描述信息，比如说存储位置、时间、大小等），存储在关系型数据库中（如：mysql），存放的配置可以修改hive-site.xml来完成 只需...
Hive—元数据管理和数据存储
qq_43408367的博客
08-11 2495
## 元数据管理与存储—Metastore 1. 在Hive中，需要定义表结构信息与结构化的数据映射关系，映射指的是对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等信息。这些描述映射关系的数据的称之为Hive的元数据 2. 只有通过查询Hive元数据才可以确定用户编写sql和最终操作文件之间的关系。 3. Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby、第三方如MySQL
mysql中hive的元数据信息
Txwillnottleaveyou的博客
12-03 617
mysql中hive的元数据信息 mysql中关于hive的元数据存放表 +---------------------------+ | Tables_in_hive2 | +---------------------------+ | aux_table | | bucketing_cols | ...
Hive元数据存储和表数据存储
热门推荐
hyj
03-19 1万+
一、相关概念 1、元数据(metadata) 元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。 元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所...
Hive元数据管理：Metastore与MySQL存储
在Hive中，metastore扮演着至关重要的角色，它是Hive元数据的集中存储点。元数据包括表的结构、分区信息、表的位置等，这些都是执行Hive查询所必需的。 默认情况下，metastore使用内嵌的Derby数据库进行存储。然而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值