hive on spark（yarn）安装部署

最新推荐文章于 2024-12-17 19:50:53 发布
最新推荐文章于 2024-12-17 19:50:53 发布
阅读量4.7k 收藏 16
点赞数 1
分类专栏： Spark Hive 文章标签： Spark Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43860247/article/details/89184081
版权
本文详细介绍了如何在Hadoop 3.2.0环境下，安装部署Hive 3.1.1与Spark 2.3.0的集成，特别强调了版本兼容性问题，以及通过编译Spark源码来创建无Hive支持的版本。在编译过程中，使用了Scala 2.11.8和maven 3.2.5，并提供了Ubuntu 16.04上的maven安装步骤。最后，文章详述了Hive和Spark的配置以及验证过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

〇、说明
HDFS+spark+hive的测试环境之前单独搭建成功了，后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章，包括官网上的教程，一路摸索着，总算是成功了。
0.参考文章
Hive on Spark: Getting Started
Running Spark on YARN
Building Spark
Spark Configuration
Hive on Spark安装配置详解
Hive记录-Hive on Spark环境部署
hive集群配置 hive on spark
Hive on Spark 搭建&踩坑

1.版本兼容
这个问题很重要，官网的解释是hive on spark属于test，所以并不是各种版本都可以混搭，所以有两种做法：
①查看一下各个组件的pom.xml文件（源码下载后解压，位于根目录）
这个方法我尝试了一下，发现各个组件对彼此的要求不同，比如说hive3.1.1对hadoop的要求是3.1.0，对spark的要求是2.3.0；但是spark2.3.0对hadoop要求是2.6.5，对hive要求的要求是1.2.1（这个我有点不理解）；
②查看官网说明

最低0.47元/天 解锁文章
Hive on Spark 与 Spark SQL 的区别
2401_83088008的博客
03-21 761
Hive on Spark 和 Spark SQL 虽然都用于处理结构化数据，但它们在本质、架构、语法使用、性能特点、数据处理能力、生态系统集成和使用场景等方面存在着明显的区别。Hive on Spark 是 Hive 执行引擎的扩展，更适合传统的数据仓库场景，利用 Spark 提升 Hive 查询性能；而 Spark SQL 是 Spark 的一个模块，具有独立的查询优化器，更适合交互式查询和实时数据处理场景。在实际项目中，我们需要根据具体的需求和场景来选择合适的工具。
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
明哥的IT随笔
06-20 796
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
Hive on Spark on Yarn
一名假的程序猿
08-16 3535
参考 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started https://cwiki.apache.org/confluence/display/Hive/...
Hive记录-Hive on Spark环境部署
weixin_30668887的博客
10-17 288
1.hive执行引擎 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。 默认情况下，Hive on Spark 在YARN模式下支持...
hive on spark 部署
yang灬仔
04-29 2684
1. 环境 Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases hive默认使用mr作为计算引擎，当进入cli时会看到以上的提示信息，刚好有hive2.1.0，查了下pom文件，依赖了spark1.6.0，版本
hive on spark部署
热门推荐
1032851561的博客
06-07 1万+
d
hive on spark集群环境部署（彻底摆脱做毕设没环境）
m0_64893323的博客
11-13 1381
hive on spark环境部署
Hive on Spark配置
最新发布
ayong95的专栏
12-17 2394
Hive on Spark安装,hadoop-3.3.0,spark-3.4.3-bin-hadoop3,apache-hive-3.1.3
Hive on Spark 配置
hu_wei123的博客
03-30 2451
Hive引擎包括：MR（默认）、tez、spark。Hive on Spark：Hive既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive：Hive 只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用 RDD 执行。
hive on Spark部署
weixin_33832340的博客
05-12 147
一、环境1、zk集群10.10.103.144:2181,10.10.103.246:2181,10.10.103.62:21812、metastore数据库10.10.103.246:3306二、安装1、安装配置数据库yum-yinstallmysql55-servermysql55GRANTALLPRIVILEGESONmetastore.*TO'hi...
Hive on Spark on YARN配置整理
逝无痕——kaidy
03-04 5129
文章目录版本兼容性spark安装（建议源码编译安装）源码编译（以spark-2.3.3版本，hadoop-3.1.0版本为例）YARN配置Hive配置To add the Spark dependency to HiveConfigure Hive execution engine to use SparkConfigure Spark-application configs for HiveAl...
Spark on Hive部署
yswn_sy的博客
04-29 609
我们与世无求，与人无争，只求相聚在一起，相守在一起，各自做力所能及的事。 -- 杨绛 《我们仨》
Spark on Yarn with Hive实战案例与常见问题解决
weixin_33720956的博客
10-09 459
[TOC] 1 场景 在实际过程中，遇到这样的场景： 日志数据打到HDFS中，运维人员将HDFS的数据做ETL之后加载到hive中，之后需要使用Spark来对日志做分析处理，Spark的部署方式是Spark on Yarn的方式。 从场景来看，需要在我们的Spark程序中通过HiveContext来加载hive中的数据。 如果希望自己做测试，环境的配置可以参考我之前的文章，主要有下面的需要配...
数仓4.0笔记——数仓环境搭建——Hive on Spark
zhangzhagn_的博客
07-22 1037
数仓环境搭建——Hive on Spark 尚硅谷视频笔记
Hive 上配置 Hive on Spark
09-16 2264
在 Hive 上配置 Hive on Spark。
Mark ：Hive使用Spark on Yarn作为执行引擎
tianyeshiye
05-07 7337
原文：http://lxw1234.com/archives/2016/05/673.htmHive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题：Hive的版本和Spark的版本要匹配；具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml...
Hive on Spark环境搭建
TH_NUM的博客
06-03 4059
Hive 引擎包括：默认 MR、tez、spark最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带Hive on Spark：Hive 既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive : Hive 只作为存储元数据，Spark 负责 SQL 解析优化，语法是 Spark SQL语法，Spark 负责采用 RDD 执行。
hive2.1.0 on spark1.6.0 on yarn配置
qq_35315256的博客
01-25 379
spark安装 版本：hadoop2.6.0  hive-2.1.0  spark-1.6 1、编译spark 因为hive使用的是apache-hive-2.1.0，不需要spark集成的hive，所以需要自己手动编译spark源码，编译过程大约1个小时。 编译前提： 安装scala环境,联网，setting配置成阿里云的 修改sh脚本，修改一下maven_home,$MAVEN_H...
配置Hive on Spark的Spark 2.0.0安装包
- 描述中提到“用于配置hive on spark”，意味着这个分发包是用于建立Hive与Spark环境的。用户可以配置Hive以使用Spark作为执行引擎，从而提高Hive查询的速度和处理大规模数据集的能力。 2. **Spark安装包介绍**：...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值