【hadoop | hive重编译lib区别】比较hive3.1.2重新编译兼容spark3.1.2的lib区别

原创 已于 2022-08-08 00:08:11 修改 · 779 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hive #spark #hadoop

于 2022-08-07 23:42:58 首次发布
本文介绍了如何将Hive 3.1.2库升级以兼容Spark 3.1.2，重点在于重新编译和整合不同版本间的jar文件，确保两者之间的无缝协作。

灰色的jar是hive3.1.2原本的lib+hadoop share的lib的，其余则相同跳过了。

剩下一些与hive3.1.2不同的jar是重新编译兼容spark3.1.2产生的。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.1.2 Hive on Spark配置
qq_45263635的博客
01-07 4105
*3.1.2* *Hive* *on* *Spark配置* *1）兼容性说明* 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。 编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。 *2********）在Hive所在节点部署Spark* 如果
编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
hxtog的博客
02-09 4401
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结 编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,
hive3.1.2编译.doc
08-24
hive对应spark3.x编译
Hive3.1.2编译源码
05-20
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。除了兼容spark3.0.0外，还将hive3.1.2的guava的版本进行了提升，和hadoop3.x保持一致，以便兼容hadoop3.1.3。
spark on hive=＞spark3.1.2 on hive3.1.2 重新编译
AiBigData的博客
08-27 2484
hive on spark参考这篇文章 wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2.tgz 编译Saprk源码前置条件 Maven 3.3.9 or newer Java 8+ Scala 修改文件 make-distribution.sh MVN="/data/java/apache-maven-3.8.1/bin/mvn" 先通过mvn下载相应的jar包 mvn -Pyarn -Phive -Phive-th
hive3.1.2编译spark3安装包
最新发布
春meng丫
11-18 814
此安装包是《去破解站长》在公司真实生产环境所使用的安装包。 引言：Hive引擎包括：默认MR、tez、spark 1、Hive on Spark 1、Hive onSpark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 2、Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。 2、hive3.1.2编译 使用hive3.1
精选资源
hive3.x编译spark3.x包
06-07
描述中提到的“hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包”可能是已经完成编译和测试的版本，供用户直接使用，避免了上述编译过程。如果压缩包中包含这些预编译的二进制包，可以直接跳过编译步骤，直接...
精选资源
apache-hive-3.1.2-bin.tar.gz
08-30
Hive 3.1.2是Hive项目的其中一个稳定版本，与Spark 3.0.0有良好的兼容性，这意味着用户可以通过Spark作为执行引擎来运行Hive查询，从而利用Spark的高性能计算能力。 Hive的核心组件包括： 1. **元数据存储**：Hive...
精选资源
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
spark-3.1.2兼容多版本hive
w757227129的博客
05-31 1727
spark 3.1.2版本对多版本hive的兼容处理
spark2.0编译版-适用于hive2.3的hive on spark
09-26
hive on spark要求spark中不包含hive的jar包，必须重新编译，历尽艰辛终于搞好了，适配hive2.3、hadoop2.7.6环境。
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本
07-27
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本 可以直接使用
Hive3.1.2整合Spark3.0.0-HiveOnSpark
epitomizelu的专栏
03-26 7378
一，整合原理 1，HiveOnSpark Hive是一个Sql解析引擎，其不具备计算能力，Hive将Sql解析成为物理执行计划，将物理执行计划交由计算引擎执行计算，默认的执行引擎是MapReduce，但MapReduce执行速度慢，随着Spark的崛起，Hive也支持使用Spark作为计算引擎，这就是HiveOnSpark 2，SparkOnHive 比较容易混淆，二者差距还是很大的，SparkOnHive只是使用了Hive的元数据服务，Sql解析由Spark完成、计算也由Spark完成。 二，整合步骤
Hive on Spark环境搭建（解决Hive3.1.2和Spark3.0.x版本冲突）
loftiest的博客
06-21 9579
使用Hive做元数据存储和HQL解析，Spark做实际计算。（Hive on Spark）Hive 使用3.1.2版本，Spark 使用3.0.3版本 。 由于Hive 3.1.2 和 Spark 3.0.3不兼容，需要修改Hive中关于Spark的源码和依赖引用。 下载Hive 3.1.2源码 ，上传并解压 apache-hive-3.1.2-src.tar.gz下载Linux版IDEA，安装到带有桌面的Linux上。（使用root操作IDEA，bin/idea.sh打开idea）用idea打开apach
hive3.1.2 分布式安装 (基于hadoo3.1.3+spark)
gulugulu_gulu的博客
04-26 3181
1.首先你需要先安装一个mysql https://downloads.mysql.com/archives/community/ hive需要采用MySQL数据库保存Hive元数据。因为Hive自带的derby存储元数据不能支持多个用户连接，实际上derby只能允许一个会话连接。 2. 下载hive安装包 https://mirror.bit.edu.cn/apache/hive/hive-3.......
Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 遇到的坑
wd_boy的博客
11-03 7201
前几天公司的集群从 Hadoop 2.7 + Spark 2.4 + Hive 2.X + Scala2.11 直接干到了Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 + Scala 2.12 ，然后项目就要跟着升级啦，结果问题就来了一堆了，此篇记录下遇到的几个问题以及解决办法。 使用 mvn package 打包的时候发现 df.foreachPartition内部报错：Error:(83, 19) value hasNext is not a member of...
为何需要重新编译过的hive
m0_52964127的博客
12-17 582
文章目录前言一、为何需要这个安装包？二、使用步骤1.下载下方重新编译过的安装包。2.替换新的安装包后，后续继续解压安装即可。3.安装好后可按如下命令查看hive兼容的spark总结 前言 大数据生态各个组件之间存在兼容性问题，假如您想从事大数据开发相关工作，那么后续很有可能会做离线数仓的项目，而在搭建数仓环境时会用到spark,听不懂没关系，学了就知道了，此处只是简单说明为何直接用这个版本的安装包，到时你就会发现不用重新再安装一遍hive了。 一、为何需要这个安装包？ 后续在做sgg离线数仓项目时,需
hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细
weixin_52918377的博客
05-21 7770
hive编译 自从CDH宣布收费之后，公司决定使用开源的组件，对现有的大数据集群进行替换。 使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。 目前，有关hive3.1.2编译的
Hive on spark编译
Shawn的个人博客
04-15 1240
Hive引擎包括：默认MR、Tez、SparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值