hive on spark与spark on hive比较

HiveonSparkvsSparkonHive：架构与效率对比
原创 已于 2023-04-21 20:07:42 修改 · 739 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #大数据

于 2023-04-21 19:54:21 首次发布
文章探讨了两种集成Hive和Spark的方式：HiveonSpark中，Hive负责元数据管理和SQL解析，使用Spark进行计算；而SparkonHive则以Spark为主，Hive管理元数据，提供更高效的计算。这两种方式分别使用HQL和SparkSQL，且Spark对数据的读取更高效，避免重复读取。

hive on spark：hive为主体，既管理元数据，又解析sql优化，用hql语法，计算引擎是spark，操作rdd，生态兼容更好

spark on hive：spark为主体，hive管理元数据，解析sql优化计划，用sparksql语法，操作df和ds，计算效率更高

1.spark按偏移量按行读取 2.底层使用的是hadoop读取的方法，其不会重复读取一行

February13
关注
Spark on Hive 和 Hive on Spark的区别与实现
Alex的博客
06-13 3990
Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入
大数据最佳实践-hive on spark
program哲学
04-22 1747
目录Spark 内存配置spark动态分配Hive Spark 内存配置 yarn.nodemanager.resource.memory-mb = 100 GB yarn.nodemanager.resource.cpu-vcores = 28 < 机器核心数 yarn.scheduler.maximum-allocation-mb>(spark.yarn.executor.memoryOverhead+spark.executor.memory ) spark.executor.cores
Hive on Spark、Spark on Hive的异同
u011076848的专栏
06-06 1934
Hive-on-Spark 是在 Hive 上新增一种计算引擎：Spark目的：借助 Spark 内存计算引擎的优势，提升 Hive 查询性能（相较于默认执行引擎 MR）地位：Spark 和 Hive 原有的执行引擎 MR，Tez 平级，可互相替换益处：给已经部署了 Hive 或者 Spark 的用户提供了更加灵活的选择，从而进一步提高 Hive 和 Spark 的普及率定义：没有官方的 Spark on Hive 说法，属于大家习惯性称呼。
Hive Spark 引擎集成：Spark on Hive 与 Hive on Spark 的区别及性能对比
最新发布
2501_93928029的博客
11-01 496
在相同硬件条件下，Spark on Hive 在多数场景下性能优于 Hive on Spark，尤其在复杂分析($\text{JOIN} \geq 5$表)和迭代计算中差异显著。但Hive on Spark在保持Hive语法兼容性方面具有优势。典型TPC-DS测试中，Spark直接执行比Hive转译快约40%
黑猴子的家：Spark on hive 与 hive on spark 的区别
黑猴子的博客
06-07 583
1、spark on hive 是spark 通过Spark-SQL使用hive 语句，操作hive ,底层运行的还是 spark rdd. （1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 （3）接下来就可以通过spark sql来操作hive表中的数据 2、...
Hive on Spark VS Spark on Hive
u012667450的博客
12-10 5819
Hive on Spark VS Spark on Hive 两者概述 Hive on Spark Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。 Hive on spark大体与SparkS
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
大数据Spark纯净版安装包，用于快速集成Hive on Spark
03-26
Spark纯净版安装包是一个用于安装Apache Spark的软件包，该软件包提供了Spark的基本功能和组件，但不包含任何额外的扩展或依赖项。纯净版安装包旨在提供一个轻量级、简单易用的Spark安装选项，适用于用户希望快速...
Spark on Hive 和 Hive on Spark
2401_84052244的博客
08-01 3375
Spark on Hive 和 Hive on Spark。前者由 Spark 社区主导，以 Spark 为主、Hive 为辅；后者则由 Hive 社区主导，以 Hive 为主、Spark 为辅。两类集成方式各有千秋，适用场景各有不同。在 Spark on Hive 这类集成方式中，Spark 主要是利用 Hive Metastore 来扩充数据源，从而降低分布式文件的管理与维护成本，如路径管理、分区管理、Schema 维护，等等。
hive on spark mr 数据开发常见问题解决
11-20
在Hive on Spark MR（MapReduce）数据开发中，开发者经常遇到各种问题，这些问题往往阻碍了工作效率。以下是一些常见的问题及其解决方案： 1. **Shuffle in Fetcher#6 错误** 当Hive作业处理大数据量时，可能会...
Hive on Spark vs. Spark on Hive
youziguo的专栏
06-28 956
Hive on Spark 和 Spark on Hive 是两个不同的大数据处理架构，它们各自有不同的实现方式和应用场景。
Spark on hive 与 Hive on spark 的区别
pwd
08-20 5186
读了百度上的一些关于Spark on hive 与 Hive on Spark 的区别的文章，感觉理解太复杂，自己总结一下 Spark on Hive ：数据源是：hive Spark 获取hive中的数据，然后进行SparkSQL的操作 （hive只是作为一个spark的数据源）。 Hvie on Spark ：（数据源是hive本身） Hvie 将自己的MapReduce计算...
Hive on spark 和Spark on Hive的区别
2402_84675909的博客
12-10 1529
【代码】Hive on spark 和Spark on Hive的区别。
【大数据学习 | Spark】Spark on hive与 hive on Spark的区别
2301_80912559的博客
11-27 1417
这种方式下，spark可以读取和写入hive表，利用hive的元数据信息来进行表结构的定义和管理。hive on Spark指的是将hive的默认的执行引擎MR换成Spark。sparkSQL使用hive的Metastore来获取表的元数据信息，这样可以在SparkSQL直接访问hive表。sparkSQL支持HiveQL的语法，使得用户可以使用熟悉的Hive查询语句在Spark上执行SQL查询。通过配置Hive使其使用Spark作为执行引擎，可以在不改变现有的Hive查询的情况下，显著提高查询性能。
spark on hive 和 hive on spark 的区别：
weixin_47869733的博客
04-01 2766
spark on hive : hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD 具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD， 步骤如下： 1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息 2.获取到Hive的元数据信息之后可以拿到Hive表的数据 ...
Spark on Hive 和 Hive on Spark的区别
hzp666的博客
12-11 686
Spark on Hive : Hive只作为存储角色，Spark负责sql解析优化，执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下： 通过SparkSQL，加载Hive的配置文件，获取到Hive的元数据信息； 获取到Hive的元数据信息之后可以拿到Hive表的数据； 通过SparkSQL来操作Hive表中的数据。 Hive on Spark：Hive既作为存储又负责sql的解析优化，Spark负责执行。
Spark on Hive & Hive on Spark，傻傻分不清楚
微信搜：import_bigdata，大数据领域硬核原创作者
04-25 6742
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！上车前需知Spark on hive 与 Hive on Spark 的区别Spark on ...
spark on hive & hive on spark的区别
xuehuagongzi000的博客
05-12 4050
Spark on Hive ：数据源是：hiveSpark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）。 spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就...
Hive on Spark & Spark on Hive
YiGeFive的博客
09-29 1158
"Hive on Spark"和"Spark on Hive"是两种不同的数据处理方式，涉及Hive和Spark之间的集成。
Hive on Spark: Spark 1.6.0 包含Hadoop 2配置指南
标签中提到了"hive on spark"，这表示Hive可以与Spark集成使用，这种集成使得Hive能够利用Spark的快速计算引擎，从而提升数据处理和分析的速度。然而，由于这个特定版本的Spark包不包含Hive，如果需要Hive on Spark...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值