Hive中的元数据存储在Derby和MySql中的区别？

最新推荐文章于 2025-05-22 10:42:02 发布
最新推荐文章于 2025-05-22 10:42:02 发布
阅读量4.9k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36770189/article/details/99763321
本文探讨了Hive元数据的存储方式，指出Derby数据库虽然作为默认选项，但仅支持单一会话连接，不适合生产环境。相比之下，MySQL支持多用户会话且可独立部署，更适合作为生产环境中的Hive元数据存储。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive元数据默认保存在内嵌的 Derby 数据库中，但derby数据库只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用，不可能只允许一个会话连接，需要支持多用户会话，通常部署的时候会将hive的元数据修改为保存在mysql中。
1、Derby 只支持一个会话连接
2、 MySQL 支持多个会话连接，并且可以独立部署

hive的数据存储
weixin_42130191的博客
09-17 2687
1、hive的存储结构包括数据库、表、视图、分区和表数据等。（其中数据库，表，分区等都对应hdfs上的一个目录，表数据对应hdfs对应目录下的文件） 2、hive中所有的数据都存储在hdfs中，没有专门的数据存储格式，因为hive是读模式 可支持TextFile，SequenceFile,RCFIle或者自定义格式等 3、只需要在创建表的时候告诉hive数据中的列分隔符和行分隔符，hive就可...
Hive元数据
qq_62379241的博客
06-22 1700
元数据表名（MySQL hive数据库中）说明VERSION存储Hive版本存储与Hive数据库相关信息存储Hive表相关信息存储Hive文件存储相关信息存储分区相关信息COLUMNS_V2存储表对应的字段信息CDS记录Columns_v2中所有的CD_IDDB_PRIVS数据库权限信息表IDXS索引表表字段统计信息表字段授权信息PAPT_PRIVS分区授权信息。
hive元数据库derby和mysql的区别
少年阿宏
12-08 2167
hive自带的内嵌元数据库是derby,derby只支持一个会话,并发性能差,实际生产不用derby,用derby的话还会遇到这样的问题: 你在哪个路径下，执行hive指令，就在哪路径下生成metastore_db,建一套数据库文件，更换目录执行操作，会找不到相关表等.比如在/usr下执行创建表，在/usr下可以找到这个表。在/etc下执行查找这个表，就会找不到 。这样是极其不合适的，公司里每个人若不一样，则会显得非常混杂。导致员工之间无法公用交流。 用mysql作为元数据库分为两个模式: 本地独立模式：在
spark rdd的5大特性
最新发布
weixin_43847900的博客
05-22 490
◦ 支持多级存储策略（如MEMORY_ONLY、MEMORY_AND_DISK_SER），平衡内存与CPU开销。◦ 提升并行计算效率，例如1GB数据可分成100个分区（每个10MB），由不同节点处理。◦ 转换操作（如flatMap）生成新RDD，行动操作（如count）触发实际计算。• 定义：RDD的数据被划分为多个逻辑分区，分布在集群的不同节点上并行处理。◦ 容错机制：数据丢失时，通过血统重新计算恢复（如窄依赖仅需重算父分区）。• 定义：RDD记录其生成过程（依赖关系），形成有向无环图（DAG）。
hive元数据为什么使用Mysql？不使用默认的Derby
奔赴彼岸
01-17 1491
hive元数据为什么使用Mysql？不使用默认的Derby？ 在安装完成Hive之后默认是以Derby数据库作为元数据库，存储Hive有哪些数据库，以及每个数据库中有哪些表，但是在实际生产过程中，并不是以derby作为Hive的元数据库，都是以Mysql去替换derby 不选择Derby数据库来存储元数据的原因： 1.Derby数据库，只能允许一个会话连接，只适合简单的测试。不支持并发，也就是只支持单线程操作，当一个用户在Hive进行操作是，其他用户则无法操作，导致整体效率性能较低。 2. Derby还有一
hive修改默认元数据存储数据库derby改为mysql
qq_26479655的博客
08-19 7393
进入mysqlmysql -uroot -p //默认没有密码为hive建立相应的用户以及密码 CREATE USER 'hive' IDENTIFIED BY 'mysql';授权hive用户访问权限 GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;创建hive数据库mysql -uhive -pmysql//以hive用户进
MySQL数据库和Derby数据库的对比
qq_45453185的博客
12-05 1367
MySQL数据库和Derby数据库的对比
Hive学习-配置hive元数据存储到MySQL
HaveAGoodDay428的博客
02-23 634
配置hive存储到mysql
hive三种元数据存储方式
m0_65457827的博客
05-22 537
hive本身不存储数据，借助hdfs存储数据，hive和关系型数据库一样是有表结构的，这些信息hive也存储在第三方软件中，如derby、mysql。根据元数据的存储方式，hive的部署可以分为三种：一，local模式采用内置的derby数据库存储元数据，这种方式只能有一个客户端访问hive，多个客户访问会报错，适合开发测试。hive服务和metastore服务运行在同一个进程中，derby服务也运行在该进程中。
Hive metastore 使用达梦数据库存储元数据
05-10
然而，为了适应更复杂的业务需求和更高的性能，我们可以选择将Hive元数据存储在达梦数据库中。本文将详细介绍如何配置Hive metastore以使用达梦数据库。 首先，要在达梦数据库中创建metastore所需的用户和表空间。...
使用mysql作为hive的元数据库
12-14
在MySQL中，以root用户登录，创建一个名为`metahive`的数据库，用于存储Hive的所有元数据信息。例如：`create database metahive;` **3. 创建Hive用户** 接着，创建一个名为`hive`的用户，并指定其密码。在MySQL...
为什么选用MySQL存储Hive的元数据
Never say never
10-12 1302
实际生产环境中不适用， 为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 作为元数据库，MySQl支持多客户端访问，Hive 内部对 MySQL 提供了很好的支持。数据库中，只能允许一个会话连接，只适合简单的测试，如果你启动了两个终端软件执行hive的话，就会抛出异常。默认情况下，Hive 元数据 保存在内嵌的。
一文搞懂Hive与数据库（Derby、MySQL）之间的关系
caoyuan666的博客
12-27 3783
对于Hive的初学者，是否对hive、数据库，hdfs，yarn之间的关系有点搞不懂？这里将详解分析其中的关系。 文章目录1.Hive整体架构介绍2.Derby&MySQL3.Hive工作流程 1.Hive整体架构介绍 Hive可以看做是MapReduce的客户端 因为Hive的底层运算是MapReduce计算框架，Hive只是将可读性强，容易编程的SQL语句通过Hive软件转换成MR程序在集群上执行。hive可以看做mapreduce客户端，能用mapreduce程序完成的任务基本都可以对应的.
hive用mysql作元数据代替默认derby的hive-site.xml配置
weixin_33720956的博客
11-25 274
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://server110:3306/hive?createDatabaseIfNotExist=true</value> </property> <property&...
mysql数据库就是derby数据库_【数据库 与 数据仓库的本质区别是什么？】-看准网...
weixin_34797253的博客
02-02 188
匿名用户1-2 数据仓库(Data Warehouse) vs 操作数据库系统(DBMS)联机操作数据库系统(OLTP)的两个任务：1.执行联机事务 2.查询处理联机分析处理系统(OLAP)基于Data Warehouse，主要是数据从业者做数据分析操作。1-2-1 OLTP和OLAP的主要区别：用户和系统的面向性：OLTP面向用户，即顾客，被用于日常事务的查询和处理。OLAP面向市场(此前版本是...
hive元数据存到MySQL中*
张俊杰 的博客
09-11 1228
hive默认是存储到Derby中的,Derby是Java语言编写的微型,常用于内嵌在Java程序中的数据库. 但是derby有个缺点,Derby同一个数据库的实例文件不支持多个客户端同时访问.如果你启动了两个终端软件执行hive的话,就会抛出异常出来. hive内置数据库有个缺点就是你建了一个表关闭再打开就会发现自己当时见的表找不到了.找不到的原因是元数据schema存到了Derby中, 你启动hive之后,hive没有找到上一个Derby的数据,因为derby默认是将你数据库文件存到你执行hive指令的所
Hive 元数据选择MySQL 而不是 Derby的原因
Jimmy_Ju的博客
02-22 1365
原文：https://blog.youkuaiyun.com/wypersist/article/details/80101617         Hive 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下，Hive 元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用， 为了支持多用户会话，则需要一个独立的元数据库，使用 M...
hive安装测试及Hive 元数据的三种存储方式
Alisa_MI的博客
05-30 3583
一 hive安装测试 1、下载解压 tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz） 将解压后的hive-0.8.1文件放在系统的/home/hadooptest/中。 2、环境变量配置 在.bash_profile中添加： export HIVE_HOME=/home/hadooptest/hive-0.8.1 export PA...
HIVE选择题总结
m0_51376832的博客
06-14 8856
hive选择题总结
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值