hive元数据库配置、metadata

最新推荐文章于 2025-05-18 10:56:55 发布
最新推荐文章于 2025-05-18 10:56:55 发布
阅读量1.6w 收藏 9
点赞数 2
CC 4.0 BY-SA版权
分类专栏： hive Hive实战 文章标签： hadoop hive metadata 元数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jyl1798/article/details/41087533
本文介绍了Hive元数据的概念，并详细展示了如何配置Hive元数据库，包括使用Derby和MySQL作为元数据存储，以及设置远程Metastore服务的步骤。通过配置文件中的属性，如`javax.jdo.option.ConnectionURL`、`hive.metastore.local`和`hive.metastore.uris`，读者可以了解到元数据连接的设置方法。最后，提供了启动Metastore服务的命令和验证表是否存在以确保配置成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

QQ交流群：335671559,欢迎交流


一、什么是hive元数据？

hive元数据就是hive的一些基本的元素， 主要包括 hive表的基本属性， 如下
（1）hive表的数据库名、表名、字段名称与类型、分区字段与类型
（2）表的分区，分区的属性location等
（3）serdeproperties, tblproperties等等
可以通过
desc formatted tablename
查看表有哪些属性
二、hive默认元数据库Derby（嵌入模式）
hive-default.xml通过如下配置设置

  1.   <name>javax.jdo.option.ConnectionURL</name>  
  2.   <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
  3.   <description>JDBC connect string for a JDBC metastore</description>  
  4. </property>  
  5.   
  6. <property>  
  7.   <name>javax.jdo.option.ConnectionDriverName</name>  
  8.   <value>org.apache.derby.jdbc.EmbeddedDriver</value>  
  9.   <description>Driver class name for a JDBC metastore</description>  
  10. </property>  
    
    Apache Derby非常小巧，核心部分derby.jar只有2M，所以既可以做为单独的数据库服务器使用，也可以内嵌在应用程序中使用。所以hive采用了Derby作为一个内嵌的元数据库，可以完成hive安装的简单测试。
    hive安装完成之后，就可以在hive shell中执行一些基本的操作，创建表、查询等等。如果你细心的话，就会发现一个问题：
    当在某个目录下启动终端，进入hive shell时，hive默认会在当前目录下生成 一个 derby 文件 和 一个 metastore_db 目录 ，这两个文件主要保存刚刚在shell中操作的一些sql的结果，比如新建的表、添加的分区等等
这种存储方 式的带来 弊端
    1.在同一个目录下同时只能有一个hive客户端能使用数据库
    2. 切换目录 启动新的shell，无法查看之前创建的表，不能实现表数据的共享
三、使用mysql作为元数据库
    由于使用默认的元数据库有些弊端，所以采用mysql保存hive元数据解决上面的问题。hive所有的元数据都保存在同一个库里，这样不同开发者创建的表可以实现共享。

mysql配置又分为几种情况：
（1）mysql部署在hive服务器，使用本地服务（测试、学习使用）

（2） mysql部署在其他机器，hive服务器开启metadata服务，在hive服务器上操作hive
最低0.47元/天 解锁文章

200万优质内容无限畅学
hive启动报错没有初始化元数据库：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStolient
zhengzaifeidelushang的博客
11-22 1004
hive启动报错没有初始化元数据库：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStolient 一、mysql数据库创建Hive元数据库hive mysql> create database hive; mysql> grant all on *.* to hive@localhost identified by 'hive'; mysql> flush privileges; #刷新
可启动Hive，无法使用Hive：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Tesla的博客
04-16 3692
林子雨老师的Hive3.1.2安装，可以启动Hive，但是无法使用Hive，错误简要：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient，元数据库初始化，。hive安装
HIve：元数据表结构
weixin_44591209的博客
04-08 314
Hive中的元数据信息默认是存储在derby中的，但是derby是单session的，一般都会修改成mysql。 在mysql中的metastore库中存放着hive所有元数据信息的表（如下图）。本文将分别介绍他们各自的用途。 VERSION表 存储Hive版本的元数据表，如果该表出现问题，根本进入不了Hive-Cli，会报错”Table ‘hive.version’ doesn’t e...
hive元数据
m0_69433255的博客
05-27 595
/指定Hive表的数据的存储位置，一般在数据已经上传到HDFS(也就是在目录已经存在，指定一下位置指向这个目录)，想要直接使用，会指定Location，通常Location会跟外部表（external）一起使用，内部表一般使用默认的location。location '/data/hive' // 可选， 指定Hive表的数据的存储位置，通常跟外部表一起使用。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。
【Hive面试必知】Hive元数据全面解析：类型、存储、管理与应用实践
最新发布
IT成长日记的博客
05-18 931
Hive元数据（Metadata）是描述Hive数据的数据，它存储了关于Hive数据结构的所有关键信息，但不包含实际的数据内容。元数据充当了HiveQL与底层HDFS数据之间的映射层，使得用户能够以数据库表的形式操作分布式存储中的数据。Hive元数据作为整个数据仓库的中枢神经系统，其重要性不言而喻。通过深入理解元数据的组成结构、存储方式和管理方法，数据工程师可以构建更加健壮和高效的大数据平台。良好的元数据管理不仅能提升Hive本身的性能和可靠性，更能为企业的数据资产管理和价值挖掘奠定坚实基础。
HIVE元数据
传物易人
06-20 203
HIVE元数据表数据字典： 表名 说明 BUCKETING_COLS Hive表CLUSTERED BY字段信息(字段名，字段序号) COLUMNS Hive表字段信息(字段注释，字段名，字段类型，字段序号) DBS   NUCLEUS_TABLES 元数据表和hiv...
数据仓库工具 hive的入门（八）元数据管理与存储
weixin_43904810的博客
06-06 1067
**Hive命令实战操作之元数据管理与存储 提示：本文章内容取自来源： 拉勾教育大数据高薪训练营 文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节 数据存储格式 前言 提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。 HQL操作之–DQL命令 第 1 节 Metastore Metadata即元数据。元数据包含用Hive
Hive 元数据
m0_73577749的博客
05-23 1024
元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。在建表的时候，用户还需 要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。删除该表并不会删除掉这 份数据，不过描述表的元数据信息会被删除掉。在删除表的时候，内部表的元数据和数据会被一起删除，而外 部表只删除元数据，不删除数据。
Hive安装并配置metadata到Mysql （附遇到的问题及解决方法）
qq_20748731的博客
10-13 1509
Hive安装并配置Metastore到Mysql hive的Metastore有好几种部署方式，默认的方法是直接用自带的Derby数据库，但是这会导致hive服务和Metastore必须同时启动，在实际使用时一般不使用这种方法，这里介绍一下自己配置Metastore到Mysql的步骤和一些坑。 Hive下载 下载链接 https://dlcdn.apache.org/hive/ wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-b
Hive元数据管理
凉茶铺的博客
10-16 1899
介绍了hive的Metastore、HiveServer2、HCatalog三个启动器
hive 元数据是什么
蒋志伟
01-31 910
管理hive的数据，所有的表名，库名，都是存储在元数据中的
HIVE-元数据存储
热门推荐
b_oyidyt的博客
08-22 1万+
HIVE-元数据存储 元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关 系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库 （Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓 库的设计、部署、操作和管理能达成协同和一致。 1. 元数据存储介质 根据元数据存储的介质不同，分为下面两个版本，其中...
hive中的元数据管理
qq_42456324的博客
06-06 1484
1、存储Hive版本的元数据表(VERSION)2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)DBS：该表存储Hive中所有数据库的基本信息，字段如下:DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数：3、Hive表和视图相关的元数据表主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联
在Mysql中获取hive表的元数据信息
AnameJL的博客
08-15 1705
  获取hive的元数据信息可以通过hive的元数据库(通常为Msyql)获得,通过sql的关联即可。   具体内容如下sql所示，这里就不作详解了。 SELECT t2.`NAME` `database_name`, -- 库名 t2.`DESC` `database_comment`, -- 库注释 t1.`TBL_NAME` `table_name`, -- 表名 t3.`PARAM_VALUE` `database_commet`, -- 表注释 FROM_UNIXTIME(t
Hive学习总结（三）之元数据Metastore
weixin_38924500的博客
06-29 1696
1、元数据 元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。 Hive中的Metastore默认存储在自带的derby数据库中，但是我们推荐使用MySQL存储Metastore;因为存储在derby数据库，hive只能开启一个客户端，使用
Hive元数据库详解
11号车厢
08-12 1791
文章目录1、概述2、启用mysql管理3、通过mysql查看basic01数据库4、version（存储Hive版本的元数据表）5、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）6、Hive表和视图相关的元数据表7、Hive文件存储信息相关的元数据表8、Hive表字段相关的元数据表9、Hive表分区相关的元数据表10、其他不常用的元数据表11、最后我们总结下他们之间的关系图...
Hive元数据详解
sdfghjkkl123的博客
06-14 748
元数据（Metadata）是关于数据的数据。数据库的信息表的结构（表名、列名、数据类型等）表的分区信息数据文件的位置存储格式和序列化/反序列化信息元数据在Hive中的作用类似于关系型数据库中的系统表，用于管理和优化数据查询。
Hive 搭建（将 MySQL 作为元数据库）
JIE的博客 --- moon_coder
10-25 1万+
安装 Hive 之前请先确保你当前已经安装好了 Hadoop，并且运行正常。
hive元数据库
qq_45755385的博客
02-20 514
【代码】hive元数据库。
初始化Hive元数据库 [atguigu@hadoop102 conf]$ schematool -initSchema -dbType mysql -verbose
03-04
<think>嗯，用户问的是如何初始化Hive的元数据库，具体是使用schematool命令，参数是-dbType mysql，还给了示例命令。首先，我需要确认用户的环境和步骤是否正确。 首先，用户可能是在配置Hive时遇到了问题，特别是元数据库的初始化。Hive默认使用Derby作为元数据库，但在生产环境中通常会用MySQL这样的关系型数据库。所以用户应该是按照教程或文档，将Hive的元数据库配置为MySQL后，需要进行初始化。 接下来，用户执行的命令是schematool -initSchema -dbType mysql -verbose。我需要检查这个命令是否正确。schematool确实是Hive提供的用于管理元数据库模式的工具，-initSchema参数表示初始化，-dbType指定数据库类型，这里用mysql是对的。-verbose是显示详细日志，有助于排查问题。 然后，我需要考虑用户可能遇到的常见问题。比如，是否正确配置了hive-site.xml中的JDBC连接参数？比如javax.jdo.option.ConnectionURL、ConnectionDriverName、ConnectionUserName和ConnectionPassword这些属性是否正确指向了MySQL实例，并且用户有权限访问。 另外，MySQL的JDBC驱动包是否放到了Hive的lib目录下？如果没有，会导致连接失败。还有，MySQL服务是否正在运行，端口是否开放，防火墙设置是否正确，这些都可能影响初始化过程。 用户可能还不太清楚初始化元数据库的具体步骤，需要分步说明。比如，首先要确保MySQL已经安装并启动，然后创建Hive的元数据库，比如命名为hive_meta，并授权给对应的用户。接着，在Hive的配置文件中设置好上述参数，添加MySQL驱动包，最后再运行schematool命令。 还有，初始化成功后的提示信息是怎样的，比如“Initialization script completed”和“schemaTool completed”，这样用户就能确认是否成功。如果出现错误，可能需要查看详细的日志，根据错误信息排查问题，比如权限不足、连接超时、语法错误等。 另外，可能需要提醒用户，如果之前已经初始化过，再次运行可能会报错，需要先清理元数据库或者使用-upgradeSchema参数进行升级。不过用户的问题里没有提到升级，所以暂时不用展开。 总结一下，回答应该包括步骤说明、必要的前置条件、常见问题及解决方法，以及成功后的确认方式。这样用户能一步步检查自己的操作是否正确，遇到问题时也能自行排查。</think>初始化Hive元数据库是配置Hive时的重要步骤，以下是对该命令的详细说明及操作步骤解析： --- ### 一、命令含义 `schematool -initSchema -dbType mysql -verbose` 是Hive提供的元数据库初始化工具，用于： 1. 根据配置创建Hive元数据库表结构 2. 指定使用MySQL作为元数据存储（代替默认的Derby） 3. `-verbose`参数表示显示详细执行日志 --- ### 二、**前置条件** 执行前需确保： 1. MySQL服务已启动且可访问 2. 在`hive-site.xml`中已配置以下参数： ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop102:3306/hive_meta?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>your_username</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>your_password</value> </property> ``` 3. MySQL的JDBC驱动包（如`mysql-connector-java-5.1.37.jar`）已放入Hive的`lib`目录 --- ### 三、**执行流程** 1. **连接MySQL**：根据配置建立与MySQL的连接 2. **创建数据库**：若指定的数据库（如`hive_meta`）不存在则自动创建 3. **生成元数据表**：在MySQL中创建约50张Hive元数据表（如`DBS`, `TBLS`, `COLUMNS_V2`等） 4. **写入初始数据**：插入必要的初始化记录 --- ### 四、**成功标志** 当看到以下日志时表示初始化成功： ``` Initialization script completed schemaTool completed ``` 可在MySQL中验证： ```sql USE hive_meta; SHOW TABLES LIKE 'VERSION'; -- 应返回记录 ``` --- ### 五、**常见问题解决** 1. **权限不足错误**： ```bash Access denied for user 'root'@'hadoop102' ``` **解决方案**：在MySQL中执行： ```sql GRANT ALL PRIVILEGES ON *.* TO 'root'@'hadoop102' IDENTIFIED BY 'your_password'; FLUSH PRIVILEGES; ``` 2. **驱动类找不到**： ```bash Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient ``` **解决方案**：检查JDBC驱动是否放置在正确路径（`$HIVE_HOME/lib`） 3. **重复初始化错误**： ```bash Table 'VERSION' already exists ``` **解决方案**：先执行清理命令： ```bash schematool -dbType mysql -dropAllSchemas ``` --- ### 六、注意事项 1. **生产环境建议**：为Hive元数据库配置定期备份 2. **版本兼容性**：Hive版本需与MySQL驱动版本匹配（推荐使用MySQL 5.7 + Hive 3.x） 3. **权限最小化**：建议为Hive元数据库创建专用用户，而非直接使用root账户 通过以上步骤即可完成Hive元数据库的初始化，为后续Hive服务启动奠定基础。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值