spark on hive

最新推荐文章于 2025-10-11 15:31:34 发布

原创最新推荐文章于 2025-10-11 15:31:34 发布 · 709 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive

hive 同时被 2 个专栏收录

15 篇文章

订阅专栏

spark

3 篇文章

订阅专栏

本文介绍了如何配置Spark以使用Hive作为数据引擎的方法。主要内容包括：修改Spark下的hive-site.xml文件来配置Hive元数据仓库；启动Hive的Metastore服务；以及通过Spark-Shell验证配置成功。

简介

配置完hive之后，就可以配置使用spark来利用hive的数据引擎做计算

配置hive-site.xml

此时配置的hive-site.xml，不是hive下的hive-site.xml,而是spark的hive-site.xml。在conf下vim一个新文件hive-site.xml，输入以下内容:

vim hive-site.xml
输入配置内容:

<configuration>
 <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
 </property>
</configuration>

使用hive元数据仓库作为spark的数据引擎

启动hive的metastore

配置完hive-site.xml之后去连接hive，其实是无法连接，因为metastore没有启动，因此需要在hive的bin目录下去启动metastore

hive –service metastore

启动后会停滞在界面上，其实metastore已经启动了，这时在用spark-shell去使用hive，发现已经可以正常使用了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

过河卒子Rover

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据Spark（三十一）：Spark On Hive

Lansonli（蓝深李）的博客

04-20

2164

也可以将hive-site.xml分发到集群中所有Spark的conf目录，此时任意机器启动应用都可以访问Hive表数据。，所以SparkSQL天然无缝集成Hive，可以加载Hive表数据进行分析。，并放于node1的【

Spark on Hive 和 Hive on Spark的区别与实现

Alex的博客

06-13

3992

Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入

参与评论您还未登录，请先登录后发表或查看评论

Hive on Spark

weixin_42073629的博客

10-29

1687

简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hi

spark on hive 还是 hive on spark?

最新发布

二进制专栏

10-11

382

我们都知道，hive默认的计算引擎是mr,但是mr计算依赖于磁盘，导致计算非常缓慢，开启本地模式会稍微快一点，但是治标不治本，于是有些公司就将计算引擎切换成tez或者spark。spark作为目前主流的离线计算引擎，非常的方便，所以很多企业都想直接将计算引擎换成spark，但目前hive和spark结合有两种方式Spark On Hive ，还有一种Hive On Spark，到底应该怎么选择呢？

Spark on Hive 和 Hive on Spark

2401_84052244的博客

08-01

3379

Spark on Hive 和 Hive on Spark。前者由 Spark 社区主导，以 Spark 为主、Hive 为辅；后者则由 Hive 社区主导，以 Hive 为主、Spark 为辅。两类集成方式各有千秋，适用场景各有不同。在 Spark on Hive 这类集成方式中，Spark 主要是利用 Hive Metastore 来扩充数据源，从而降低分布式文件的管理与维护成本，如路径管理、分区管理、Schema 维护，等等。

Hive on Spark、Spark on Hive的异同

u011076848的专栏

06-06

1937

Hive-on-Spark 是在 Hive 上新增一种计算引擎：Spark目的：借助 Spark 内存计算引擎的优势，提升 Hive 查询性能（相较于默认执行引擎 MR）地位：Spark 和 Hive 原有的执行引擎 MR，Tez 平级，可互相替换益处：给已经部署了 Hive 或者 Spark 的用户提供了更加灵活的选择，从而进一步提高 Hive 和 Spark 的普及率定义：没有官方的 Spark on Hive 说法，属于大家习惯性称呼。

【Spark On Hive】—— 基于电商数据分析的项目实战

Byyyi耀的博客

07-16

3916

【Spark On Hive】—— 基于电商数据分析的项目实战

java spark on hive_Spark On Hive 部署和配置

weixin_29056781的博客

02-24

738

Spark On Hive，通过spark sql模块访问和使用Hive，默认Spark预编译(pre-built)版不包含hive相关依赖，并不支持此功能，因此需要对spark源码进行重新编译，并进行相关的配置，下面是具体操作步骤：1.下载最新版spark源码包cd/data/soft/wget-chttp://apache.fayea.com/spark/spark-1.5.2/spar...

Spark On Hive

Simon的博客

03-20

963

Spark On Hive 配置 1.将部署好的hive的路径下的conf/hive-site.xml复制到spark安装路径下的conf/ 2.将部署好的hive的路径下的lib/mysql驱动包，我的是（mysql-connector-java-8.0.15.jar）拷贝到spark安装路径下的jars/ 3.启动Hive的metastore服务 hive --service metastore 4.启动ZooKeeper集群，启动HDFS集群 5.启动spark-shell bin/spark-sh

Spark on Hive

Running_Tiger的博客

03-14

2374

Spark on Hive1、spark on hive介绍（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息（2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据（3）接下来就可以通过spark sql来操作hive表中的数据 2、spark on hive 配置（1）将hive安装目录下conf/hive-site.xml拷

Spark On HIve

涵sir的博客

01-14

279

Spark 中是有内置Hive的，但生产中，多使用外部部署好的Hive，这就需要Spark进行配置。解决步骤： ln -s /opt/hive-1.1.0-cdh5.15.1/conf/hive-site.xml /opt/spark/conf/hive-site.xml ln -s /opt/hadoop-2.6.0-cdh5.15.1/etc/hadoop/core-site.xml /opt/spark/conf/core-site.xml ln -s /opt/hadoop-2.6.0-cd.

spark on hive

03-29

### 使用 Spark 集成 Hive 的配置与性能优化在使用 Apache Spark 和 Hive 进行集成时，可以通过合理的配置来实现高效的数据处理和查询操作。以下是关于如何配置以及进行性能调优的相关信息。 #### 1. **基本配置*...