Hive On Spark

最新推荐文章于 2025-10-14 19:51:40 发布
原创 最新推荐文章于 2025-10-14 19:51:40 发布 · 置顶 · 5.2k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark

本文介绍了将Hive执行引擎从MapReduce切换到Spark的实践过程，包括遇到的问题、配置要点和注意事项。作者指出Hive on Spark的优势在于内存计算，避免磁盘I/O。配置中强调了Hive与Spark版本兼容性的重要性，以及Hive配置文件的修改，如`spark.yarn.jars`和`hive.execution.engine`等。文章还提供了上传Spark JAR到HDFS的命令，并提及启动Hive和测试的步骤。

序言

不推荐这种方式,感觉HiveOnSpark的官网更新速度比较慢,同时HiveOnSpark的解决方案需要指定的Spark.Hive 这块并没有很好的做一个封装,造成我们部署中途问题点很多cuiyaonan2000@163.com

参考链接:

  1. https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started

简介

总的来说是将Hive的执行引擎替换成spark.

默认的是MR,且我们在启动Hive的时候会看到如下的内容(所以我们应该用spark来做为执行引擎cuiyaonan2000@163.com)

 既然要换成spark,那我们知道Hadoop自带的Mr是不能用了,且不包含spark的相关服务,所以配置修改,增加spark的jar就是必不可少的工作了.

其原因有一个大家最能说到的就是:HiveOnMr是是把中间结果写入硬盘,而HiveOnSpark是写入内存的cuiyaonan2000@163.com

根据官网的内容我们要注意,HiveOnSpark 的如下两点,

  1. spark放置到Hdfs中的jar不应包含hive的香相关jar
  2. hive on spark 默认基于spark on yarn模式 

Spark与Hive的版本问题

按照官网:

https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started

以及很多的其它博主的分析我们知道,Hive On Spark该分支是在特定的Spark上进行的.所以版本的差异可能决定了你的最终结果cuiyaonan2000@163.com

Hive配置文件

这里只说明针对Hive On MR不一样的的配置信息,其它的先关配置跟Hive On MR是一样的.

 <!--Spark依赖的JAR位置，下面会介绍如何上传jar包的hdfs路径-->
<property>
  <name>spark.yarn.jars</name>
  <value>hdfs://127.0.0.1:8020/spark-jars/*</value>
</property>
  
<!--Hive执行引擎，使用spark-->
<property>
  <name>hive.execution.engine</name>
  <value>spark</value>
</property>

<!--Hive连接spark-client超时时间-->
<property>
  <name>hive.spark.client.connect.timeout</name>
  <value>30000ms</value>
</property>

SparkJars

下载下来的Spark的lib包下,可以看到有很多的hive的jar.但是我们除了hive-storage-api-2.7.2.jar都是不需要的.所以要先删除这些hive包,然后在把lib目录下的包都上传到指定的hdfs中

相关命令

#该目录存储sparks的jar
[root@cuiyaonan2000 jars]# hdfs dfs -mkdir -p /spark-jars


[root@cuiyaonan2000 jars]# hdfs dfs -put ./myjars/* /spark-jars


#该目录存储spark日志,后面会用到
[root@cuiyaonan2000 jars]# hdfs dfs -mkdir -p /spark-log

Spark-default.conf

在Hive的conf下创建该spark-default.conf并添加如下内容

spark.master             yarn
spark.eventLog.enabled   true
spark.eventLog.dir       hdfs://ip:8020/spark-log

spark.executor.memory    4g    # 每个执行程序进程使用的内存量。

spark.driver.memory      4g    # 分配给远程Spark上下文（RSC）的内存量。我们推荐4GB

spark.serializer         org.apache.spark.serializer.KryoSerializer

spark.executor.cores     2     #每个执行者的核心数量。

spark.yarn.driver.memoryOverhead    400m  #我们推荐400（MB）

启动

nohup bin/hive --service metastore &


nohup bin/hive --service hiveserver2 &

测试

使用hive bin目录下的beeline测试,后一定要insert成功否则不能验证.

Hive on Spark 项目环境配置及优化
BrightMoons的博客
10-28 1247
背景介绍 背景 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。 简介 Hive on Spark是从Hive on MapReduce演进而来，Hive的整体解决方案很不错，但是从查询提交到结
大数据最佳实践-hive on spark
program哲学
04-22 1740
目录Spark 内存配置spark动态分配Hive Spark 内存配置 yarn.nodemanager.resource.memory-mb = 100 GB yarn.nodemanager.resource.cpu-vcores = 28 < 机器核心数 yarn.scheduler.maximum-allocation-mb>(spark.yarn.executor.memoryOverhead+spark.executor.memory ) spark.executor.cores
Spark on Hive
最新发布
DolphinProMax的博客
10-14 1030
Hive 作为主导框架，将默认计算引擎从 MapReduce 替换为 Spark，即用 Spark 执行 HQL 查询，充分利用 Spark 的内存计算优势提升 Hive 的处理速度。Spark 作为主导框架，通过 Spark SQL 读取 Hive 的元数据（Metastore），直接操作 Hive 中的数据，即用 Spark SQL 处理 Hive 表数据，此时 Hive 仅作为 “元数据管理器” 和 “数据存储层”。维度主导框架Hive（HQL 为入口）
Hive 整合 Spark 全教程 （Hive on Spark）
热门推荐
weixin_45417821的博客
03-27 1万+
文章目录Hive 引擎简介环境配置 （ssh已经搭好）JDK准备Hadoop准备部署配置集群配置历史服务器配置日志的聚集启动集群LZO压缩配置Hadoop 3.x 端口号 总结MySQL准备Hive 准备Spark 准备Hive on Spark 配置Hive on Spark测试 Hive 引擎简介 Hive 引擎包括：默认 MR、tez、spark 最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带 Hive on Tez 配置：https://blog.youkuaiyun.com/we
Hive on Spark
weixin_42073629的博客
10-29 1685
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hi
hive on spark 配置 和 spark on hive
yang灬仔
03-16 4419
Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 HiveonSpark配置 1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
hive on spark mr 数据开发常见问题解决
11-20
在Hive on Spark MR（MapReduce）数据开发中，开发者经常遇到各种问题，这些问题往往阻碍了工作效率。以下是一些常见的问题及其解决方案： 1. **Shuffle in Fetcher#6 错误** 当Hive作业处理大数据量时，可能会...
大数据Spark纯净版安装包，用于快速集成Hive on Spark
03-26
Spark纯净版安装包是一个用于安装Apache Spark的软件包，该软件包提供了Spark的基本功能和组件，但不包含任何额外的扩展或依赖项。纯净版安装包旨在提供一个轻量级、简单易用的Spark安装选项，适用于用户希望快速...
Spark on Hive 和 Hive on Spark
2401_84052244的博客
08-01 3371
Spark on Hive 和 Hive on Spark。前者由 Spark 社区主导，以 Spark 为主、Hive 为辅；后者则由 Hive 社区主导，以 Hive 为主、Spark 为辅。两类集成方式各有千秋，适用场景各有不同。在 Spark on Hive 这类集成方式中，Spark 主要是利用 Hive Metastore 来扩充数据源，从而降低分布式文件的管理与维护成本，如路径管理、分区管理、Schema 维护，等等。
Hive on Spark配置
ayong95的专栏
12-17 2724
Hive on Spark安装,hadoop-3.3.0,spark-3.4.3-bin-hadoop3,apache-hive-3.1.3
hive on spark
欢迎大神交流讨论
12-08 482
前置准备 CentOS7、jdk1.8、hive-2.3.9、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive 首先先配置maven Index of /dist/maven/maven-3 下载maven我下的是3.6.0版本 至少要3.1.3以上才能编译 同样解压到soft目录下 配置环境变量 spark底层用的还是scala代码 所以顺便装上了scala 后来好像用不到scala所以可以不用装 vi /etc/profile .
hive-on-spark
来一杯吧
11-04 750
hive-on-spark
1. Hive on Spark
qq_62553456的博客
06-28 612
基于Spark的Hive，实质上是将Hive默认的计算引擎MapReduce替换成Spark。
Hive on Spark：大数据处理的未来趋势
Agentic AI人工智能与大数据正在引领一场新智能科技革命。
09-15 758
Hive与Spark的结合并非简单的"引擎替换"，而是大数据处理生态的范式重构：Hive提供了SQL兼容性、元数据管理与成熟生态，Spark则注入了内存计算、迭代处理与流批一体的能力。本文从第一性原理出发，拆解Hive on Spark的技术本质——用Spark的计算力激活Hive的生态价值，并通过理论框架、架构设计、实现机制与实践案例，揭示其为何能成为未来大数据处理的核心趋势。我们将回答：Hive on Spark解决了传统大数据的哪些痛点？其架构如何实现"1+1>2"的协同？企业落地时需规避哪些陷阱？
Hive on Spark 配置
hu_wei123的博客
03-30 2639
Hive引擎包括：MR（默认）、tez、spark。Hive on Spark：Hive既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive：Hive 只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用 RDD 执行。
[Hive]三、Hive On Spark
weixin_44428807的博客
07-05 190
集群由5台节点构成，其中2台为master节点，用于部署HDFS的NameNode，Yarn的ResourceManager等角色，另外3台为worker节点，用于部署HDFS的DataNode、Yarn的NodeManager等角色。5. HQL调优手段：聚合、join等方面着手，观察调优效果。Workder节点配置为32核CPU、128G内存。Master节点配置为16核CPU、64G内存。4. 数据体量：以电商表为模板，单表160GB。2. Spark进程。
Hive on spark
08-13
### Hive on Spark 配置与使用指南 Hive on Spark 允许将 Hive 查询的执行引擎切换为 Spark，从而利用 Spark 的内存计算优势提升查询性能。以下是配置和使用 Hive on Spark 的详细指南。 #### 1. 环境准备 在开始配置之前，确保以下组件已正确安装并运行： - Hadoop 集群（HDFS 和 YARN） - Spark 集群（基于 Hadoop 集群安装） - Hive 服务 Hive 默认使用 MapReduce 作为执行引擎，要切换为 Spark，需要确保 Hive 和 Spark 的版本兼容性。例如，Hive 3.1.3 可以与 Spark 3.0.0 配合使用 [^3]。 #### 2. 配置 Hive 使用 Spark 作为执行引擎 在 Hive 配置文件中设置以下参数以启用 Spark 作为执行引擎： ```sql SET hive.execution.engine=spark; SET spark.home=/path/to/spark; SET spark.master=yarn; SET spark.submit.deployMode=cluster; ``` - `hive.execution.engine`：设置为 `spark` 以启用 Spark 作为执行引擎。 - `spark.home`：指定 Spark 的安装路径。 - `spark.master`：定义 Spark 的运行模式，通常为 `yarn`。 - `spark.submit.deployMode`：设置为 `cluster` 以在 YARN 集群模式下运行 [^4]。 #### 3. Spark 相关参数配置 为了优化 Hive on Spark 的性能，可以调整以下 Spark 参数： ```sql SET spark.eventLog.enabled=true; SET spark.executor.memory=4g; SET spark.executor.instances=10; SET spark.driver.memory=2g; SET spark.dynamicAllocation.enabled=true; ``` - `spark.eventLog.enabled`：启用事件日志记录，便于调试和性能分析。 - `spark.executor.memory`：设置每个 Executor 的内存大小。 - `spark.executor.instances`：指定 Executor 的数量。 - `spark.driver.memory`：设置 Driver 的内存大小。 - `spark.dynamicAllocation.enabled`：启用动态分配以根据负载自动调整 Executor 数量 [^2]。 #### 4. 验证配置 配置完成后，可以通过执行简单的 HiveQL 查询来验证 Hive on Spark 是否正常工作： ```sql SELECT * FROM sample_table LIMIT 10; ``` 如果查询成功执行并返回结果，则表示 Hive on Spark 配置正确。 #### 5. 性能调优建议 为了进一步提升 Hive on Spark 的性能，可以参考以下调优策略： - **内存管理**：根据数据量和集群资源调整 `spark.executor.memory` 和 `spark.driver.memory`。 - **动态资源分配**：启用 `spark.dynamicAllocation.enabled` 以优化资源利用率 [^5]。 - **并行度设置**：通过 `spark.sql.shuffle.partitions` 调整 Shuffle 分区数，以优化并行计算效率。 - **缓存机制**：对频繁访问的数据表使用 `CACHE TABLE` 命令，减少重复计算 [^1]。 #### 6. 注意事项 - 确保 Hive 和 Spark 的版本兼容性，避免因版本不匹配导致的问题 [^3]。 - 在调整配置参数时，应根据实际业务需求和系统资源状况进行合理设置 。 - 动态分配模式更适合多用户共享的 Hive 集群环境，以提高资源利用率 [^5]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cuiyaonan2000

给包烟抽吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值