Hive教程之metastore的三种模式

最新推荐文章于 2025-10-21 12:53:58 发布
转载 最新推荐文章于 2025-10-21 12:53:58 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/snowbook/p/5886438.html
文章标签：

#HIVE

本文详细介绍了Hive中元数据存储的三种方式：内嵌Derby、Local（使用本地MySQL）和Remote（远程MySQL）。对于每种方式，文章提供了配置hive-site.xml的步骤，包括设置jdbcURL、驱动、用户名和密码，并展示了如何初始化和验证配置。Remote方式下，还阐述了服务端和客户端的配置差异以及启动命令。

Hive中metastore（元数据存储）的三种方式：

  • 内嵌Derby方式
  • Local方式
  • Remote方式

[一]、内嵌Derby方式

这个是Hive默认的启动模式，一般用于单元测试，这种存储方式有一个缺点：在同一时间只能有一个进程连接使用数据库。

hive-site.xml 中jdbc URL、驱动、用户名、密码等的配置信息如下：

XHTML

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>org.apache.derby.jdbc.EmbeddedDriver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>APP</value>

  <description>username to use against metastore database</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>mine</value>

  <description>password to use against metastore database</description>

</property>

<property>

  <name>hive.metastore.warehouse.dir</name>

  <value>file:///Users/micmiu/tmp/hive/warehouse</value>

  <description>unit test data goes in here on your local filesystem</description>

</property>

<!-- micmiu.com -->

执行初始化命令：schematool -dbType derby -initSchema

查看初始化后的信息： schematool -dbType derby -info

配置完成后就可在shell中以CLI的方式访问hive 进行操作验证。

[二]、Local方式

以本地Mysql数据库为例：创建好用户：hive；database：hive。

配置文件 hive-site.xml 中jdbc URL、驱动、用户名、密码等属性值配置如下：

XHTML

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

  <description>username to use against metastore database</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>micmiu</value>

  <description>password to use against metastore database</description>

</property>

<property>

  <name>hive.metastore.warehouse.dir</name>

  <!-- base hdfs path -->

  <value>/user/hive/warehouse</value>

  <description>location of default database for the warehouse</description>

</property>

<!-- micmiu.com -->

ps：需要把mysql的驱动包copy到目录 <HIVE_HOME>/lib 中

如果是第一次需要执行初始化命令：schematool -dbType mysql -initSchema

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

micmiu-mbp:mysql micmiu$ schematool -dbType mysql -initSchema

14/02/17 14:46:08 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive

14/02/17 14:46:08 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize

14/02/17 14:46:08 INFO Configuration.deprecation: mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize

14/02/17 14:46:08 INFO Configuration.deprecation: mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack

14/02/17 14:46:08 INFO Configuration.deprecation: mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node

14/02/17 14:46:08 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces

14/02/17 14:46:08 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative

Metastore connection URL: jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true

Metastore Connection Driver : com.mysql.jdbc.Driver

Metastore connection User: hive

Starting metastore schema initialization to 0.12.0

Initialization script hive-schema-0.12.0.mysql.sql

Initialization script completed

schemaTool completeted

查看初始化后信息 schematool -dbType mysql -info

初始化后查看mysql中表情况：show tables;

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

mysql&gt; show tables;

+---------------------------+

| Tables_in_hive            |

+---------------------------+

| BUCKETING_COLS            |

| CDS                       |

| COLUMNS_V2                |

| DATABASE_PARAMS           |

| DBS                       |

| DB_PRIVS                  |

| DELEGATION_TOKENS         |

| GLOBAL_PRIVS              |

| IDXS                      |

| INDEX_PARAMS              |

| MASTER_KEYS               |

| NUCLEUS_TABLES            |

| PARTITIONS                |

| PARTITION_EVENTS          |

| PARTITION_KEYS            |

| PARTITION_KEY_VALS        |

| PARTITION_PARAMS          |

| PART_COL_PRIVS            |

| PART_COL_STATS            |

| PART_PRIVS                |

| ROLES                     |

| ROLE_MAP                  |

| SDS                       |

| SD_PARAMS                 |

| SEQUENCE_TABLE            |

| SERDES                    |

| SERDE_PARAMS              |

| SKEWED_COL_NAMES          |

| SKEWED_COL_VALUE_LOC_MAP  |

| SKEWED_STRING_LIST        |

| SKEWED_STRING_LIST_VALUES |

| SKEWED_VALUES             |

| SORT_COLS                 |

| TABLE_PARAMS              |

| TAB_COL_STATS             |

| TBLS                      |

| TBL_COL_PRIVS             |

| TBL_PRIVS                 |

| TYPES                     |

| TYPE_FIELDS               |

| VERSION                   |

+---------------------------+

41 rows in set (0.00 sec)

配置完成后就可在shell中以CLI的方式访问hive 进行操作验证。

[三]、Remote方式

以Mysql数据库(192.168.6.77)为例：创建好用户：hive；database：hive_meta。Remote方式需要分别配置服务端和客户端的配置文件：

服务端的 hive-site.xml 中jdbc URL、驱动、用户名、密码等属性值配置如下：

XHTML

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://192.168.6.77/hive_meta?createDatabaseIfNotExist=true</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

  <description>username to use against metastore database</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>micmiu</value>

  <description>password to use against metastore database</description>

</property>

<property>

  <name>hive.metastore.warehouse.dir</name>

  <!-- base hdfs path -->

  <value>/user/hive/warehouse</value>

  <description>base hdfs path :location of default database for the warehouse</description>

</property>

<!-- micmiu.com -->

ps：需要把mysql的驱动包copy到目录 <HIVE_HOME>/lib 中

如果是第一次需要执行初始化命令：schematool -dbType mysql -initSchema

客户端中配置内容修改如下：

XHTML

1

2

3

4

5

6

7

8

9

10

11

12

13

<!-- thrift://<host_name>:<port> 默认端口是9083 -->

<property>

  <name>hive.metastore.uris</name>

  <value>thrift://192.168.6.77:9083</value>

  <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>

</property>

<!--  hive表的默认存储路径 -->

<property>

  <name>hive.metastore.warehouse.dir</name>

  <value>/user/hive/warehouse</value>

  <description>location of default database for the warehouse</description>

</property>

hive metastore 服务端启动命令：
hive --service metastore -p <port_num>
如果不加端口默认启动：hive --service metastore，则默认监听端口是：9083 ，注意客户端中的端口配置需要和启动监听的端口一致。服务端启动正常后，客户端就可以执行hive操作了。

参考：

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

Hive安装进阶（远程模式搭建&）
05-21
Hive安装进阶教程主要面向希望在远程模式下搭建并配置Hive的用户。在大数据处理场景中，Hive作为一种数据仓库工具，广泛应用于数据挖掘和数据分析领域。它允许用户通过类SQL查询语言HiveQL来操作存储在Hadoop文件...
Hive简明教程-大数据技术系列
10-17
第三部分，教程会涉及Hive的技术细节，如Hive的表类型（Managed Table与External Table）、数据存储格式（如TextFile、SequenceFile、ORC和Parquet）以及Hive与HBase的集成。你将学习到如何根据实际需求选择合适的表...
Hive 元数据服务 MetaStore
SmartSi
04-26 7707
1. 概念 MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，授权以及有效执行用户的查询。MetaStore 分为两个部分：服务和后台数据的存储。 2. 配置参数 这里只会展示与 MetaStore 相关的配置参数，与 MetaSote 不相关的配置参数可以在这查阅。 配置参数 参数说明 hive.metas
Hive安装配置指北（含Hive Metastore详解）
mojolang
05-06 2102
本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。 1.
Hive元数据管理：深入理解Hive Metastore
最新发布
移动开发前沿的博客
10-21 1010
Hive是大数据生态中最常用的数据仓库工具，它让用户能用SQL（类似MySQL的查询语言）查询HDFS中的海量数据。Hive怎么知道“users表”存放在HDFS的哪个路径？怎么知道“age列”是整数类型？怎么知道“按日期分区”的规则？这些问题的答案，都在Hive Metastore里。用“生活类比”讲清楚Hive Metastore的核心价值；拆解Hive Metastore的架构（存储层、服务层、客户端层）；手把手教你搭建独立式Metastore（生产环境必备）；
hive的MetaStore
tp15868352616的博客
07-02 2879
hive的元数据!==1==&gt;为什么需要开启hive的metastore service    应用有像spark这样需要用到hive元数据的框架存在!所以就要给它们开放服务!    ==2==&gt;metaStore:    metaStore,默认存储在 derby 数据库中,但是derby数据库不能支持我们开启多个窗口,所以我们会将metaStore存放到MySql中;    met...
Hive的架构及元数据三种存储模式
一个人的编程之路
12-19 1万+
文章目录什么是Hive？Hive的特点Hive的架构元数据存储模式 什么是Hive？   Hive最初是由FaceBook公司开发的一个基于Hadoop框架并且开源的一个数据仓库工具，后贡献给了Apache基金会由Apache来进行维护和更新。Hive可以将结构化的文件映射为一张数据表，但并不提供查询功能，而是将SQL转化为MapReduce任务进行运行。同时，Hive本身不存储数据，只是存储数据...
Hive元数据存储的三种模式，hive有哪些保存元数据的方式，各有什么特点。
Ahuuua的博客
05-03 1万+
1）、内嵌模式：将元数据保存在本地内嵌的derby数据库中，内嵌的derby数据库每次只能访问一个数据文件，也就意味着它不支持多会话连接。 2）. 本地模式：将元数据保存在本地独立的数据库中（一般是mysql），这可以支持多会话连接。 3）. 远程模式：把元数据保存在远程独立的mysql数据库中，避免每个客户端都去安装mysql数据库。 Hive Metastore有三种配...
技能速成！教你10分钟内在电脑上配置运行Hive Metastore和Presto
Alluxio的博客
06-17 612
本教程将展示如何一步一步安装并配置Presto和Hive MetaStore，从而查询存储在公有S3 bucket中的数据。
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
- 初始化Hive Metastore，执行Hive的`schematool`命令。 5. **集群搭建**： - 将上述所有组件安装在每台服务器上，包括Master和Slave节点。 - 调整各组件的配置文件，确保集群通信正常。 - 分别启动Hadoop、...
《Hive系列》Hive详细入门教程
https://blog.datasource.space
08-03 6209
Hive简介Hive：由FaceBook开源用于解决海量结构化日志的数据统计工具Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL的查询功能。Hive本质将HSQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层实现的是MR执行程序运行在Yarn上​ 窗口函数又叫做开创函数，他是一种分析的函数，专门可以解决报表类型的需求分析。他专门用于计算基于组的某种聚合。对于每个组返回返回是多行，也就是聚合函数的分组只有显示一行。
大数据平台之Hive Metastore
youziguo的专栏
07-10 1274
Hive Metastore 是 Apache Hive 的核心组件之一，用于存储关于 Hive 数据仓库中表和分区的所有元数据。元数据包括表的模式、位置、分区信息、列的数据类型等。Metastore 为 Hive 提供了表管理和查询优化所需的信息。
Hive Metastore服务
狂奔的乌牛的博客
11-12 4171
1、Hive 元数据存储 将元数据存储在关系数据库中（MySql、Derby），元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。 2、Metastore服务作用 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。 3、Metastore启动方式 下列的本地模式是指Metastore启
CDP的Hive3系列之Hive Metastore介绍
未来在这儿的专栏
02-21 1972
CDP的Hive Metastore (HMS) 是一种服务，用于在后端 RDBMS（例如 MySQL 或 PostgreSQL）中存储与 Apache Hive 和其他服务相关的元数据。Impala、Spark、Hive 和其他服务共享元存储。与 HMS 的连接包括 HiveServer、Ranger 和代表 HDFS 的 NameNode。这是CDP中Apache Hive3用户指南系列之一，之后还有几篇来介绍Hive3的功能和使用。
Hive Metastore详解大全
热门推荐
一个数据小开发的博客
08-12 1万+
1、何为Hive MetaStore？
Hive（3）metastore简介
刚哥的大数据之路
08-20 717
1.Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。 2.Metastore作用： 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。 3.Metastore 有3中开启方式: –1-->默认开启方式: –2--&g
Hive的metastore的三种部署方式；Hive的四种排序方式
祁小北de博客
07-18 1181
Hive的metastore的三种部署方式;Hive的四种排序方式
Hive metastore元数据管理
ThreeAspects的博客
07-17 2541
目录Hive metastore表结构设计分析Hive metastore整体代码分析及详解 Hive metastore表结构设计分析   Hive metastore主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。 DBS表 Columns：DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPE DBS 表记录基本的db信息，其中DB_ID为其主键，同时也是FUNC_RU、FUNCS、DB_PRIVS、DA
(19)Hive —— Metastore与 HiveServer2关系
爱吃辣条的博客
05-17 936
Metastore 与 HiveSever2 关系
hive部署之本地模式编辑hive-site.xml
03-31
<think>好的，我需要帮助用户了解如何在Hive本地模式下正确配置hive-site.xml文件。首先，我得回忆一下Hive的本地模式配置的关键点。本地模式通常意味着Hive不依赖Hadoop集群的资源管理器（如YARN），而是使用本地文件系统和单JVM来执行任务，这样可以简化开发和测试环境。 根据引用[1]的内容，hive-site.xml的配置项需要区分服务端和客户端，但用户现在问的是本地模式，可能更关注如何配置基本的元数据存储和执行引擎。本地模式下，Hive默认使用Derby数据库作为元存储，但用户可能希望配置独立的元存储或者调整其他参数。 接下来，需要确保配置的语法正确，比如使用正确的XML格式，以及Hive特定的属性名。例如，设置hive.exec.mode.local.auto为true可以启用本地模式优化。此外，数据仓库目录的位置（hive.metastore.warehouse.dir）需要指向本地路径，如file:///usr/local/hive/warehouse，而不是HDFS路径。 还要注意执行引擎的设置，本地模式下可能需要使用mr（MapReduce）而不是tez，但用户可能也需要了解如何切换到本地模式的其他配置。另外，引用[2]提到了环境变量的配置，比如HIVE_HOME和PATH，这也是配置的一部分，确保Hive命令可以正确执行。 用户可能遇到的问题包括权限错误，比如本地目录的写入权限，或者Derby数据库的并发访问限制。因此，建议配置MySQL作为元存储而不是Derby，但用户可能需要基础教程，所以先提供Derby的配置，再提到MySQL的替代方案。 最后，根据用户提供的引用[3]，一些表属性的继承配置可能也需要关注，但在本地模式下可能不是首要问题。需要确保所有配置项都放置在hive-site.xml中，并且文件的位置正确，通常是Hive的conf目录下。 总结步骤应该是：创建hive-site.xml，配置元存储连接，设置本地执行模式，指定仓库目录，环境变量配置，然后验证配置。可能还需要提醒用户检查Derby的锁问题，以及如何启动Hive CLI进行测试。</think>### Hive本地模式hive-site.xml配置教程 在Hive本地模式下，核心配置需关注**元数据存储**和**执行引擎**的本地化设置。以下是具体步骤： --- #### 1. 创建配置文件 进入Hive的`conf`目录，创建或修改`hive-site.xml`： ```xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 本地元数据存储配置 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=/path/to/metastore_db;create=true</value> <description>Derby本地数据库路径</description> </property> <!-- 启用本地执行模式 --> <property> <name>hive.exec.mode.local.auto</name> <value>true</value> <description>自动优化为本地模式（小数据集时生效）</description> </property> <!-- 数据仓库目录 --> <property> <name>hive.metastore.warehouse.dir</name> <value>file:///usr/local/hive/warehouse</value> <description>本地文件系统路径</description> </property> </configuration> ``` --- #### 2. 关键配置项说明 - **`hive.exec.mode.local.auto`**: 当输入数据量小于`hive.exec.mode.local.auto.inputbytes.max`（默认128MB）时自动触发本地模式[^3] - **`hive.metastore.warehouse.dir`**: 本地模式必须使用`file://`协议而非HDFS路径 - **Derby配置**: 默认嵌入式数据库，但存在并发访问限制，建议开发环境改用MySQL： ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/hive_meta?createDatabaseIfNotExist=true</value> </property> ``` --- #### 3. 环境变量配置 根据引用[2]，在`/etc/profile`中添加： ```bash export HIVE_HOME=/usr/soft/apache-hive-x.x.x-bin export PATH=$PATH:$HIVE_HOME/bin ``` 执行`source /etc/profile`使配置生效 --- #### 4. 验证配置 ```bash hive --service cli # 执行测试查询 hive> CREATE TABLE test_local(id int); hive> SHOW TABLES; ``` --- #### 常见问题处理 1. **Derby锁定问题**：检查`metastore_db`目录是否被其他进程占用 2. **权限错误**：确保本地仓库目录有写入权限 3. **配置未生效**：确认配置文件位于`$HIVE_HOME/conf`且无拼写错误
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值