SparkSQL整合Hive实现metastore元数据共享

最新推荐文章于 2025-03-18 15:20:25 发布
最新推荐文章于 2025-03-18 15:20:25 发布
阅读量5.9k 收藏 2
点赞数
分类专栏： Spark Hive 文章标签： Spark Hive SparkSQL整合Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011817217/article/details/88819671
版权
本文介绍如何在Hive和SparkSQL之间实现数据共享，包括配置Hive以兼容SparkSQL的操作步骤，解决两者间数据库可见性的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、需求

在兼容Hive技术的前提下，推进SparkSQL技术的使用，那么就会衍生出一个问题：如何让Hive和SparkSQL数据共享？，比如在Hive中操作，然后在SparkSQL中能够看到变化，反之亦然。

注意：记住一个前提，先使用Hive在先，后引入SparkSQL，笔者在操作过程中发现了一个问题，之前SparkSQL中的数据会看不到，只能看到Hive中的，这个问题有待进一步研究。

Hive版本：1.2.x

Spark版本：1.6.x

Hadoop版本：2.6.x

二、解决方案

1. 修改$HIVE_HOME/conf/hive-site.xml文件

cd $HIVE_HOME/conf
vim hive-site.xml

#搜索找到hive.metastore.uris配置项
:/hive.metastore.uris
#增加该项配置值
thrift://hive_server_ip:9083

2. 启动metastore服务

hive --service metastore  1>/dev/null  2>&1  &

jobs查看服务是否启动

如果不启动服务，在启动Spark thriftServer服务的时候会报如下错误：

org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

3. copy hive-site.xml 到所有节点的$SPARK_HOME/conf

4. beeline -u jdbc:hive2://ip:10011进入SparkSQL

hive_test数据库是在安装Hivehttps://blog.youkuaiyun.com/u011817217/article/details/88813874中测试新建的一个数据库，但是之前在SparkSQL中创建的数据库没有显示出来。

虽然已经实现SparkSQL操作Hive，并且Hive之前创建的数据库能够显示，但是引出了一个问题：SparkSQL之前创建的数据库却没有显示出来。

大数据架构师选型必懂：大数据离线数仓开发框架详解与对比(hive、Spark SQL、Impala、Doris）
大模型大数据攻城狮的专栏
09-30 863
Hive是基于Hadoop的一个数据仓库工具，它的出现为大数据处理领域带来了革命性的变革。Hive能够将结构化数据文件映射为数据库表，使得用户能够像操作关系数据库一样操作Hadoop中的数据。这一特性极大地降低了Hadoop的使用门槛，使得更多企业和组织能够利用Hadoop进行大规模数据处理和分析。在Hadoop生态系统中，Hive扮演着至关重要的角色。它为用户提供了一个熟悉且易于使用的SQL接口，使得用户能够在不离开Hadoop平台的情况下进行数据查询和分析。
Apache Hive实战基础
Gegenden的博客
03-21 2334
hive基础
spark 使用hive metastore
u013571243的专栏
10-12 5738
有3,4个月没接触hadoop和spark了,有些生疏,实习时用的是nodejs+python,今天休假,在新电脑跑跑大数据(真不敢相信我以前使用赛扬双核内存4G + 核显跑几个虚拟机来运行hadoop和spark的,跑个任务或者编译android源码有时等得蛋疼...) 虽然这些步骤常用好记,不过时间一长-没有-就又得查看doc,所以好记性不如烂笔头 1.开启hdfs st
spark SQL配置连接Hive Metastore 3.1.2
从大数据到人工智能的博客
01-09 3772
Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。 通过Spark连接Hive Metastore，需要准备如下文件： hive-site.xml apache-hive-3.1.2-bin spark-3.0.3-bin-hadoop3.2 在完成下述操作之前，当然首先需要安装并启动hive standalone metastore，并将hi
自定义Spark启动的metastore_db和derby.log生成路径
最新发布
2301_77836489的博客
03-18 410
自定义Spark启动的metastore_db和derby.log生成路径
spark代码连接hive,如何在SparkSQL中以编程方式连接到Hive Metastore？
weixin_28715081的博客
12-19 400
I'm using HiveContext with SparkSQL and I'm trying to connect to a remote Hive metastore, the only way to set the hive metastore is through including the hive-site.xml on the classpath (or copying it ...
Spark 配置连接hive 元数据库
akenseren的博客
04-07 5722
Spark 配置连接hive 元数据库 第一步 安装Hive和Spark(略) 第二步 配置 Metastore 到 MySql 原因是， Metastore 默认存储在自带的 derby 数据库中，推荐使用 MySQL 存储 Metastore; 2.1 驱动拷贝 上传并解压 mysql-connector-java-5.1.27.tar.gz 驱动包 到 hive/lib/ 目录下 [root@hadoop102 mysql-libs]# tar -zxvf mysql-c..
【完美解决】Spark-SQL、Hive多 Metastore、多后端、多库
weixin_30527143的博客
11-30 246
【完美解决】Spark-SQL、Hive多 Metastore、多后端、多库 【完美解决】Spark-SQL、Hive多 Metastore、多后端、多库 SparkSQL 支持同时连接多种 Metastore，包括Atlas2（PB），Hive 0.12+几种格式。用户可以在一条SQL语句中操作来自多个 Metastore 的表。 配置 Metastore 按照正常的使用方式配置 ...
SparkSQL 整合 Hive，工作场景最实用
欢迎来到技术宅的社区
04-02 675
SparkSQL 整合 Hive Hive 是一个外部的数据存储和查询引擎, 所以如果 Spark 要访问 Hive 的话, 就需要先整合 Hive。 整合什么 ? MetaStore, 元数据存储 SparkSQL 内置的有一个 MetaStore, 通过嵌入式数据库 Derby 保存元信息, 但是对于生产环境来说, 还是应该使用 Hive 的 MetaStore, 一是更成熟, 功能更强, ...
Hive安装前扫盲之Derby和Metastore
u011495642的博客
11-02 1486
大数据总是有很多英文单词，你不了解一下根本就没法推进。 比如Hive要涉及到的：derby metastore hiveServer2 后面内容都是转载的，大致内容简单来说就是：   Derby是一个数据库，非常轻量，而Hive只会把元数据存放在关系型数据库中。这是因为这样可以易于共享这些元数据。 Hive 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下...
大数据架构之端到端方案综述（3）数据仓储&Hive
liyunpeng229的博客
03-28 1169
1 数据仓库介绍 1.1 数据仓库简介 数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，主要针对来自多个数据源的历史数据进行细粒度、多维度的分析，输出用于企业的数据分析、数据挖掘、数据报表等方向，帮助管理者或业务分析人员做出商业战略决策。 数据仓库可概括为四个特点： 面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关细节数据...
Spark-SQL、Hive多 Metastore、多后端、多库
weixin_34407348的博客
02-26 604
2019独角兽企业重金招聘Python工程师标准>>> ...
两套 Hive 集群使用共同的元数据的方案
houzhizhen的专栏
11-24 867
两套 Hive 集群使用共同的元数据的方案，需要 Hive 的版本一致。数据存储在单独的存储系统中。
spark连接mysql创建hive表_Apache Spark整合Hive
weixin_39899226的博客
02-11 312
安装hive前提是要先安装hadoop集群，并且hive只需要在NameNode节点集群中安装即可，可以不在DataNode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要hadoop在正常跑着，所以建议你先将hadoop跑起来在按照本文操...
Spark&Hive互通
Nice789987的专栏
07-24 865
​目录 问题 配置 原理 问题 通过hive beeline进入后建的表与通过spark-sql进入建表互相不可见 配置 //变量位置：org.apache.hadoop.hive.metastore.conf.MetastoreConf.ConfVars#CATALOG_DEFAULT//默认值CATALOG_DEFAULT("metastore.catalog.default","metastore.catalog.default","hive", "T..
sparkSQL 整合hive
hongchenshijie的博客
04-15 300
文章目录一、环境的配置1. Hive开启MetaStore服务在 $HIVE_HOME/conf/hive-site.xml中添加如下配置2. 启动 metaStore 和 hiveserver23. SparkSQL整合Hive MetaStore拷贝 Hadoop 和 Hive 的配置文件到 Spark 的配置目录4. 把连接mysql 依赖的jar拷贝到 $SPARK_HOME/jars/ ...
Spark SQL数据源：Hive表
梁辰兴的博客
06-14 2186
将该文件数据导入表student1中，执行命令：spark.sql(“LOAD DATA INPATH ‘hdfs://master:9000/student/input/student.txt’ INTO TABLE student1”)将数据帧数据写入hive表，执行命令：studentDf.select(“name”, “age”).write.mode(SaveMode.Overwrite).saveAsTable(“test”)这种方式不安全，不建议使用，但是可以在测试环境下暂时解决问题。
Spark 读写Hive 表
Nice的博客
07-31 7911
Spark 操作Hive可以采用两种方式，一种是在Spark-sql中操作Hive表，另一种是通过Hive 的MetaStore在IDEA中操作Hive表，接下来分别介绍这两种方式 Spark-Shell操作Hive表 1.环境配置 将hive.xml 放置到Spark的conf目录下面，这里可以采用软连接的方式操作 将MySQL的驱动包放到Spark的jars目录下面，方便Spark连接MySQL 2.进入spark-sql客户端 $SPARK_HOME/bin/spark-sql spark-.
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2610
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
sparksql整合hive导入hive-site.xml
07-28
您可以按照以下步骤将 Hive 的配置文件 `hive-site.xml` 导入 SparkSQL 中： 1. 将 `hive-site.xml` 文件复制到 Spark 的配置目录下。默认情况下，Spark 的配置目录是 `$SPARK_HOME/conf`，其中 `$SPARK_HOME` 是 Spark 的安装路径。 2. 在 SparkSQL 中创建一个 `SparkSession` 对象，并在创建之前设置一些相关的配置项。可以参考下面的示例代码： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("SparkSQL with Hive integration") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") // 设置 Hive 仓库目录 .config("hive.metastore.uris", "thrift://localhost:9083") // 设置 Hive Metastore 的连接地址 .enableHiveSupport() // 启用 Hive 支持 .getOrCreate() ``` 在上面的示例中，您需要根据您的实际环境修改 `spark.sql.warehouse.dir` 和 `hive.metastore.uris` 的值。`spark.sql.warehouse.dir` 是 Hive 仓库目录的路径，`hive.metastore.uris` 是 Hive Metastore 的连接地址。 3. 使用 `spark.sql` 对象执行 Hive 相关的操作。例如，您可以执行 SQL 查询、创建表等。下面是一个简单的示例： ```scala spark.sql("SELECT * FROM my_table").show() ``` 上述代码将执行一条查询语句，从名为 `my_table` 的 Hive 表中检索数据，并将结果显示在控制台上。 请注意，您还需要确保 Spark 和 Hive 的版本兼容，并且 Hive Metastore 服务正在运行。另外，如果您的 Spark 集群和 Hive Metastore 服务部署在不同的机器上，您需要相应地修改 `hive.metastore.uris` 的值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值