hive on spark下运行sparkSql

最新推荐文章于 2023-03-17 19:05:59 发布
原创 最新推荐文章于 2023-03-17 19:05:59 发布 · 613 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文讨论了Hive on Spark中Spark版本未编译Hive导致的问题，即在运行Spark SQL时找不到Hive的包。文中指出，当前尚未找到直接解决方案，但使用CDH版本的Spark可以规避此问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hive on spark的spark版本是没有把hive编译进去的，所以在sparkSql运行时候找不到hive的包。

目前没找到解决办法，但是CDH版本的spark能解决这个问题。

Hive on Spark and Spark sql on Hive
代灿灿灿的博客
03-29 3133
结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置1、首先安装包要选择对，否则就没有开始了。Hive版本:apache-hive-...
Spark on Hive及 Spark SQL的运行机制
最新发布
qq_50215015的博客
01-11 870
Spark on Hive及 Spark SQL的运行机制
Hive on Spark与SparkSql的区别
qq_43688472的博客
12-28 3328
Hive on Spark与SparkSql的区别 hive on spark大体与SparkSQL结构类似，只是SQL引擎不同，但是计算引擎都是spark！ 核心代码 #初始化Spark SQL #导入Spark SQL from pyspark.sql import HiveContext,Row # 当不能引入Hive依赖时 # from pyspark.sql import SQLCont...
hive on spark与sparkSQl共存
豪大大的博客
05-17 1093
1
Hive on Spark编程入门指南
AricZhou
08-31 2115
先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 　　从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到m
sqoop卡在map0% 并且hive on spark的sql不执行
yy的博客
06-23 444
资源 配置问题,临时解决方法是配置hive on mr.
SparkSQL-SparkOnHive
dafsq的博客
03-17 610
SparkSQL-SparkOnHive
Hive On Spark解析SQL过程剖析
qq_30003943的博客
11-13 2280
1.Hive执行过程概览 无论Hive Cli还是HiveServer2，一个HQl语句都要经过Driver进行解析和执行，粗略如下图： 2.Driver处理的流程 HQL解析(生成AST语法树)=>语法分析(得到QueryBlock)=>生成逻辑执行计划(Operator)=>逻辑优化(Logical Optimizer Operator)=>生成物理执行计划(Task Plan)=>物理优化(Task Tree)=>构建执行计划...
hive on spark 执行sql报错
cclovezbf的博客
09-20 3419
报错信息ERROR : FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed due to: Job 3 cancelled。这个是因为我们之前设置的excutor.memory=6G，其中有一些reseverd啥的。这个是啥，看过我其他文章的我都会提到这个，这个vector叫矢量化，也就是看你开启矢量化。如下图 这个文件格式如下 是真的垃圾。
SparkSql On Hive
难得糊涂
05-08 977
序言 sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
Hive on Spark 和 Spark sql on Hive，你能分的清楚么
weixin_43770745的博客
09-26 999
结构上 Hive On Spark 和 SparkSQL 都是一个翻译层，把一个 SQL 翻译成分布式可执行的 Spark 程序。Hive 和 SparkSQL 都不负责计算。Hive 的默认执行引擎是 mr，还可以运行在 Spark 和 Tez。Spark 可以连接多种数据源，然后使用 SparkSQL 来执行分布式计算。（1）首先安装包要选择对，否则就没有开始了。Hive 版本:apache-hive-2.1.1-bin.tar。
SparkSQL与Hive on Spark的比较
热门推荐
在路上的学习者
05-18 7万+
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点 Spark可以部署在YARN上 Spark原生支持对HDFS文件系统的访问 使用
Hive on Spark与SparkSql的异同
wj1298250240的博客
02-23 703
```python hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。 ...
SparkSQL与Hive on Spark的区别与联系
wtq1993的博客
09-05 6280
简要介绍了SparkSQL与Hive on Spark的区别与联系 一、关于Spark 简介 在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。 架构 Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。 Spark特点 Spark可以部署在
Hive：Hive on Spark和SparkSQL区别
不花的花和尚的博客
10-17 6799
SparkSQL SparkSQL简介 SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，Shark应运而生，但又因为S...
Hive 整合 Spark 全教程 （Hive on Spark）
weixin_45417821的博客
03-27 1万+
文章目录Hive 引擎简介环境配置 （ssh已经搭好）JDK准备Hadoop准备部署配置集群配置历史服务器配置日志的聚集启动集群LZO压缩配置Hadoop 3.x 端口号 总结MySQL准备Hive 准备Spark 准备Hive on Spark 配置Hive on Spark测试 Hive 引擎简介 Hive 引擎包括：默认 MR、tez、spark 最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带 Hive on Tez 配置：https://blog.youkuaiyun.com/we
hive在spark上运行报错汇总
沧海一粟的博客
06-18 1401
1：ERROR - An error occurred while calling o103.sql.（调用o103.sql时出错） Permission denied by sticky bit setting: user=airflow, inode=dm_cust_live_all（粘性位设置拒绝许可） 解决方法：定义表为 denied by sticky bit 非super不能修改表的...
spark sql on hive配置及其使用
开水烫鱼的博客
02-20 673
https://blog.youkuaiyun.com/a11a2233445566/article/details/54633033?utm_source=distribute.pc_relevant.none-task
Spark与hive集成、Hive On Spark 、使用Spark SQL进行数据查询配置流程
s9434的博客
03-29 755
本文主要是介绍在开源hadoop上使用Spark SQL进行数据查询。 有关本文的各组件版本如下： 1、hadoop版本 [root@hadoop01 ~]# hadoop version Hadoop 2.7.7 2、hive版本 hive 2.1.1 3、Spark和scala版本 Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\
【Spark篇】---SparkSQL on Hive的配置和使用
L先生AI课堂
02-09 6451
一、前述Spark on Hive： Hive只作为储存角色，Spark负责sql解析优化，执行。二、具体配置1、在Spark客户端配置Hive On Spark             在Spark客户端安装包下spark-1.6.0/conf中创建文件hive-site.xml：            配置hive的metastore路径<configuration> &lt...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值