HIVE Metastore中Local/Embedded Metastore Server的配置分析

最新推荐文章于 2025-11-27 10:42:24 发布
原创 最新推荐文章于 2025-11-27 10:42:24 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文深入探讨了HIVE元数据存储的两种模式：Local/Embedded Metastore（使用Derby数据库）和Remote Metastore。内容包括它们的设置与工作原理，帮助理解何时选择本地或远程Metastore Server。
*初学者个人体会，主要作为笔记使用，如有错误欢迎指正。

根据现在的官方指引（modified by Shannon Ladymon on Jul 22, 2016）所述，HIVE的Metastore有四种配置，其中又分为两种形式—— 数据库（Metastore database）和服务器（Metastore Server）：
  • Local/Embedded Metastore Database (Derby)
  • Remote Metastore Database
  • Local/Embedded Metastore Server 
  • Remote Metastore Server
而Local/Embedded Metastore Database (Derby)（可理解为调试模式，Metastore存储在hive执行的当前目录下），Remote Metastore Database（Metast
最低0.47元/天 解锁文章
Hive的Metastore三种配置方式
日常分享数据分析开发、编程语言内容
02-28 5500
Hive的Metastore三种配置方式
Hive Metastore详解大全
热门推荐
一个数据小开发的博客
08-12 1万+
1、何为Hive MetaStore？
Hive Metastore原理及配置
代码人的自白
07-04 7162
一、Hive存储概念 1、Hive用户接口： 命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作 Web界面：通过Web方式进行访问。　　　　　 Hive的远程服务方式：通过JDBC等方式进行访问。　　 2、元数据存储 　将元数据存储在关系数据库中（MySql、Derby），元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。 3、解...
【详解】Hivemetastore三种配置方式
最新发布
牛肉胡辣汤
11-27 1068
嵌入式模式：适合小型测试和开发环境，Metastore 和 Hive 服务运行在同一进程中。本地模式：适合需要更高性能的测试环境或小型生产环境，Metastore 服务运行在本地但与 Hive 服务分开。远程模式：适合大型生产环境，Metastore 服务运行在独立的服务器上，通过网络与 Hive 服务通信。每种模式都有其适用的场景，选择合适的配置方式可以更好地满足不同的需求。
Hive metastore三种配置方式
Jason的专栏
08-15 2662
Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。   一、本地derby 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 java
metadata远程存储和hive.metastore.local属性的说明
dsl200970的博客
04-19 2150
官网上对hive.metastore.local属性的解释为：local or remote metastore (Removed as of Hive 0.10: If hive.metastore.uris is empty local mode is assumed, remoteotherwise)；即本地或者远程的元数据(在hive0.10版本上删除列这个属性；如果hive.me
Hive问题：HiveConf of name hive.metastore.local does not exist
jiaofengaoxue的博客
01-04 6934
当执行Hive客户端时候出现如下错误：        WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist 这是由于在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。将该参数从hive-site.xml删除即可。
Hive为什么要启用Metastore？
xingdianp的博客
08-24 612
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Hive中metastore的三种方式区别和搭建
qq_20174285的博客
01-12 1094
Hive中metastore（元数据存储）的三种方式： a)内嵌Derby方式 b)Local方式 c)Remote方式 1.本地模式（derby） 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration....
hive3.1.2安装
hunheidaode的博客
12-12 3044
1.首先具备 hadoop环境： Hadoop-3.1.3部署_hunheidaode的博客-优快云博客 2.使用docker安装mysql： 使用Docker搭建MySQL服务 - sablier - 博客园
Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris
yang灬仔
12-24 3812
flink集成hive 启动：flink-sql 报错： ./sql-client.sh embedded 报错如下： 2021-12-18 17:49:42,129 INFO org.apache.hadoop.hive.conf.HiveConf [] - Found configuration file file:/home/hadoop/apps/hive-3.1.2/conf/hive-site.xml Exception in thr...
【Hive Warn】hive.metastore.local does not exist处理方式
boranyueshijie的博客
05-30 2584
1、问题背景 当输入命令hive启动hive时，报了如下警告： 21/05/30 01:37:12 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist 2、问题原因 是因为在0.10 0.11或者之后的hive版本 hive.metastore.local 属性不再使用。 3、解决方式 修改hive-site.xml文件，去掉hive.metastore.local的属性配置。 [admin@master ~]
Hive学习之Metastore及其配置管理
TBN_MSnail
07-24 1271
在学习Hive的配置管理参数时，曾将参数分为四类：Hive管理参数、Hive元存储（Metastore）管理参数、与Hadoop交互的管理参数、用于传递运行时信息的参数，当时并没有对Metastore参数进行深入的学习，现在就开始学习这部分的内容。        Hive中表和分区的所有元数据都存储在Hive的元存储（Metastore）中。元数据使用JPOX（Java Persistent O
hive中mysql的作用_hive+mysql安装、hive.metastore.local属性的真正用途
weixin_31800911的博客
01-20 472
本文对Hive+mysql的安装做一个总结，后期会把Hive的一些资料放上来：1.安装目标：Hive搭配远程Mysql2.要点总结：1).Mysql的配置：假如Hive以hive用户连接Mysql，以root用户登录Mysql：drop user hive@'%';grant all on db.* to hive@'%' identified by '密码';(使用户可以远程连接Mysql)gr...
flink连接hive的相关配置和Embedded metastore is not allowed. Make sure you have set a valid value for hive.me
weixin_44729035的博客
09-18 2164
flink连接hive的相关配置和Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris报错处理 1.在Maven中导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hive_${scala.bin
Hive为什么要启用Metastore
weixin_42073629的博客
07-05 1365
相关概念 1.Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。 2.Metastore作用： 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。 bin/hin --访问--> metaStore...
hive本地mysql方式（local方式）配置及踩坑实录
逆天骚年的博客
04-12 2977
第一步：安装mysql第二步：上传mysql jdbc驱动程序到hive的lib目录下 并解压第三步：在hive-site.xml文件中加入以下内容：&lt;configuration&gt;&lt;property&gt;    &lt;name&gt;hive.metastore.warehouse.dir&lt;/name&gt;    &lt;value&gt;/user/hive_rem...
记今日hive安装对配置的理解
qq_43530509的博客
11-21 176
hive.metastore.local本地用户模式远程分开模式 hive.metastore.local 在今天重新安装hive之前，一直以为这一个配置文件所表达的是hive和mysql之间的关系。直到今天想着好好去官网看一下配置文件进行安装的时候才发现，之前对于hive三种模式的安装理解问题很大。 我们点击如下链接来到官网的对于安装的介绍网页。 link 本地用户模式 在这里对于他的介绍，...
Hive配置项的含义详解
aaa1117a8w5s6d的专栏
11-22 1万+
关于MetaStore：metastore是个独立的关系数据库，用来持久化schema和系统元数据。 hive.metastore.local：控制hive是否连接一个远程metastore服务器还是开启一个本地客户端jvm，默认是true，Hive0.10已经取消了该配置项； javax.jdo.option.ConnectionURL：JDBC连接字符串，默认jdbc:derby:;dat
[root@master bin]# schematool -initSchema -dbType mysql -verbose ls: 无法访问/usr/local/spark-2.4.0-bin-hadoop2.6/lib/spark-assembly-*.jar: 没有那个文件或目录 Metastore connection URL: jdbc:derby:;databaseName=metastore_db;create=true Metastore Connection Driver : org.apache.derby.jdbc.EmbeddedDriver Metastore connection User: APP Starting metastore schema initialization to 1.2.0 Initialization script hive-schema-1.2.0.mysql.sql Connecting to jdbc:derby:;databaseName=metastore_db;create=true Connected to: Apache Derby (version 10.10.2.0 - (1582446)) Driver: Apache Derby Embedded JDBC Driver (version 10.10.2.0 - (1582446)) Transaction isolation: TRANSACTION_READ_COMMITTED 0: jdbc:derby:> !autocommit on Autocommit status: true 0: jdbc:derby:> /*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */ Error: Syntax error: Encountered "<EOF>" at line 1, column 64. (state=42X01,code=30000) Closing: 0: jdbc:derby:;databaseName=metastore_db;create=true org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !! org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !! at org.apache.hive.beeline.HiveSchemaTool.doInit(HiveSchemaTool.java:270) at org.apache.hive.beeline.HiveSchemaTool.doInit(HiveSchemaTool.java:243) at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:473) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.io.IOException: Schema script failed, errorcode 2 at org.apache.hive.beeline.HiveSchemaTool.runBeeLine(HiveSchemaTool.java:358) at org.apache.hive.beeline.HiveSchemaTool.runBeeLine(HiveSchemaTool.java:326) at org.apache.hive.beeline.HiveSchemaTool.doInit(HiveSchemaTool.java:266) ... 8 more *** schemaTool failed *** [root@master bin]# 怎么解决
06-14
### Hive Metastore 初始化失败问题分析与解决方案 在 Hive Metastore 初始化过程中，`schemaTool` 失败通常是由数据库配置、初始化脚本冲突或权限问题引起的。以下是对该问题的详细分析和解决方法。 #### 1. 错误原因分析 - **Schema 脚本冲突**：如果之前已经执行过 `schematool -initSchema` 指令，并且使用了不同的数据库类型（例如从 Derby 切换到 MySQL），可能会导致 Schema 初始化脚本冲突[^4]。 - **函数重复定义**：错误信息中提到 `FUNCTION 'NUCLEUS_ASCII' already exists`，表明某些函数已在数据库中定义，再次初始化时会引发冲突[^1]。 - **SQL 语法错误**：如果初始化脚本中存在语法问题，例如引用[3]中的 `Syntax error: Encountered "" at line 1, colume64`，这可能是由于脚本版本与数据库不兼容所致[^3]。 - **权限问题**：确保用于初始化的用户具有足够的权限来创建表和函数。如果权限不足，也可能导致初始化失败。 #### 2. 解决方案 ##### 方法一：检查并清理之前的数据库实例 如果之前使用过 Derby 数据库进行初始化，而当前切换到 MySQL，则需要清理旧的数据库实例： ```bash cd /export/server/hive-2.1.0/scripts/metastore/upgrade/derby mv metastore_db metastore_db.tmp ``` 此操作将重命名旧的 Derby 数据库文件，避免冲突[^4]。 ##### 方法二：验证初始化脚本的正确性 确保使用的初始化脚本与 Hive 版本和数据库类型匹配。例如，对于 MySQL 数据库，可以手动检查 `hive-schema-<version>.mysql.sql` 文件是否存在语法错误。如果发现错误，可以根据数据库版本对其进行修改。 ##### 方法三：重新运行初始化命令 在确认数据库清理完毕后，重新运行初始化命令。以下是针对 MySQL 数据库的初始化示例： ```bash /usr/hdp/current/hive-metastore/bin/schematool -initSchema -dbType mysql -userName hive -passWord [PROTECTED] -verbose ``` 确保 `-userName` 和 `-passWord` 参数正确，并且用户具有足够的权限[^2]。 ##### 方法四：手动导入初始化脚本 如果自动化工具仍然失败，可以尝试手动导入初始化脚本。将 Hive 安装目录下的 SQL 文件复制到目标数据库中执行。例如： ```bash cp /usr/local/hive/scripts/metastore/upgrade/mysql/hive-schema-1.2.1000.mysql.sql /path/to/mysql/ mysql -u hive -p < hive-schema-1.2.1000.mysql.sql ``` 注意替换路径和版本号以匹配实际环境[^5]。 #### 3. 注意事项 - 确保 Hive 配置文件（如 `hive-site.xml`）中的数据库连接信息正确无误。 - 如果使用分布式数据库（如 MySQL），请确认网络连接正常。 - 在生产环境中，建议备份现有数据库后再进行初始化操作。 #### 示例代码 以下是一个完整的初始化脚本示例： ```bash #!/bin/bash # 设置变量 HIVE_HOME=/usr/local/hive SCHEMA_TOOL=$HIVE_HOME/bin/schematool DB_TYPE=mysql USER_NAME=hive PASSWORD=your_password # 清理旧的 Derby 数据库 if [ -d "$HIVE_HOME/scripts/metastore/upgrade/derby/metastore_db" ]; then mv $HIVE_HOME/scripts/metastore/upgrade/derby/metastore_db $HIVE_HOME/scripts/metastore/upgrade/derby/metastore_db.tmp fi # 初始化 Hive Metastore $SCHEMA_TOOL -initSchema -dbType $DB_TYPE -userName $USER_NAME -passWord $PASSWORD -verbose ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值