hive on spark 记录

已于 2025-02-06 18:42:35 修改
阅读量619 收藏 5
点赞数 10
分类专栏： Spark 文章标签： hive spark hadoop
于 2024-06-17 15:05:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_15138049/article/details/139743734
版权
环境：

hadoop 2.7.2
spark-without-hadoop 2.4.6
hive 2.3.4

hive-site.xml

<property>
	<name>hive.execution.engine</name>
	<value>spark</value>
</property>
<property>
	<name>spark.yarn.jars</name>
	<value>hdfs://hadoop03:9000/spark-jars/*
最低0.47元/天 解锁文章
拾肆：Spark with Hive和Hive on Spark
someInNeed的博客
01-13 1505
在 Hive 与 Spark 这对“万金油”组合中，Hive 擅长元数据管理，而 Spark 的专长是高效的分布式计算，二者的结合可谓是“强强联合”。今天这一讲，我们就来聊一聊 Spark 与 Hive 集成的两类方式，一类是从 Spark 的视角出发，我们称之为 Spark with Hive；而另一类，则是从 Hive 的视角出发，业界的通俗说法是：Hive on Spark。 当 Hive 采用 Spark 作为底层的计算引擎时，我们就把这种集成方式称作“Hiv...
Spark on Hive 和 Hive on Spark
2401_84052244的博客
08-01 3253
Spark on Hive 和 Hive on Spark。前者由 Spark 社区主导，以 Spark 为主、Hive 为辅；后者则由 Hive 社区主导，以 Hive 为主、Spark 为辅。两类集成方式各有千秋，适用场景各有不同。在 Spark on Hive 这类集成方式中，Spark 主要是利用 Hive Metastore 来扩充数据源，从而降低分布式文件的管理与维护成本，如路径管理、分区管理、Schema 维护，等等。
Hive on Spark配置总结
ksh的博客
06-04 7581
Hive on spark
spark WebuI查看spark作业的执行情况
HD0do的博客
05-22 2629
我们在集群上运行了spark作业怎么看执行情况，作业执行时间，用到的那些算子，job具体的阶段划分等等信息，其实官方就已经很好的给我提供了这些信息查看的方式web界面； 先来说一下实际中用到的这个解决的问题，工作中因为我要通过hive来进行数据分析，而用到的引擎就是spark，其中我用到了hive的自定义udf函数实现查到的数据发往kafka，但是因为不知道底层hive转换为spark的什么算子来执行，如果像collect算子，top等算子就会造成数据全部拉到driver端处理，就容易造成内存溢出， 所以最
HiveOnSpark环境下，Spark 挂了问题排查思路
goTsHgo的博客
10-18 1289
当 Spark 挂掉时，分析错误的关键在于查看 Hive 和 Spark 相关的日志。通过 Hive 查询日志、Spark Driver 和 Executor 的日志，结合 YARN Web UI 或 Spark History Server，可以逐步排查出问题的根源。常见的原因包括内存不足、数据倾斜、Shuffle 阶段问题和资源不足等。根据日志中的错误提示，合理调整 Spark 的配置或优化查询逻辑，通常可以解决这些问题。
ClassNotFoundException: org.apache.hive.spark.client.Job
青春不流名
11-28 1069
环境：hive查询数据，yarn查看日志出现上面的错误。到hadoop的目录查询运行日志。
Mark ：Hive使用Spark on Yarn作为执行引擎
tianyeshiye
05-07 7340
原文：http://lxw1234.com/archives/2016/05/673.htmHive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题：Hive的版本和Spark的版本要匹配；具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml...
return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime.
半岛铁盒的博客
12-02 1062
spark配置
Hive性能提升秘籍：从Hive on MR到Hive on Spark的深度实践
最新发布
u010192213的博客
11-13 768
主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤可参阅之前内容。
hive on spark向数据库中插入数据的时候报错
weixin_44063328的博客
05-05 2657
问题描述 搭建了hive on spark集群，并且已有数据库，向数据库中插入数据的时候报错。 create table student(id int, name string); insert into table student values(1002,‘lisi’); hive> insert into student values(1002,'lisi'); Query ID = atguigu_20220505185820_0f520b40-7a94-4485-b5d1-3d85ec50ad
Hive使用Spark on Yarn作为执行引擎,yarn资源调度FAIR配置
qq_36864672的博客
10-24 3753
Hive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题： Hive的版本和Spark的版本要匹配； 具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml中查看spark.version来确定； Hive root pom.xml’s ...
Spark的Web界面
qq_41081716的博客
09-04 1557
已提交的作业不同阶段RDDs（弹性分布式数据集）Apache Spark UI中的"Executors"页面，该页面提供了关于Spark应用程序中执行器的详细信息。执行器是Spark应用程序中负责执行任务的进程。
hive on spark 执行sql报错
cclovezbf的博客
09-20 3399
报错信息ERROR : FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed due to: Job 3 cancelled。这个是因为我们之前设置的excutor.memory=6G，其中有一些reseverd啥的。这个是啥，看过我其他文章的我都会提到这个，这个vector叫矢量化，也就是看你开启矢量化。如下图 这个文件格式如下 是真的垃圾。
Hive on spark日志打印问题总结（任务执行进度的透明化）
guofei_ok的博客
01-22 2397
一：问题 hive on spark中，当切到spark计算引擎的时候发现打印的日志不全，默认的日志只到下图就结束了   对比之前mapreduce的日志 我们可以很容易的发现MR日志有很详细的进度，用户可以通过查看这个map和reduce的进度来查看任务的执行情况，但是spark我们怎么办呢？ 二：分析 通过在hiveserver端查看MR这些日志打印的行，都是SessionSt...
hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041
想练武，就得下功夫
07-29 8421
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 50cec71c-2636-4d99-8de2-a580ae3f1c58)' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.
Hive On Spark 源码执行过程步骤
大数据之路
05-15 982
Hive On spark 源码执行过程步骤 sql请求到达HiveStatement后调用execute(String sql)方法 HiveStatement.execute --> runAsyncOnServer(String sql) --> ThriftCLIService.ExecuteStatement --> CLIService.executeStat...
USDP使用笔记（五）设置Hive on Tez解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题
云来山更佳，云去山如画
03-12 2799
设置Hive on Tez解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题
Spark HiveServer2中使用jdbc客户端用户运行spark job
melin1204的博客
05-05 412
Spark HiveServer2中使用jdbc客户端用户运行spark job   大致问题与这篇文章分析相同【[HiveServer2中使用jdbc客户端用户运行mapreduce](http://blog.javachen.com/2013/10/17/run-mapreduce-with-client-user-in-hive-server2.html)】，但因为是spark引擎，具...
hive on spark用户画像
06-09
Hive on Spark 是一种在 Spark 上运行的 Hive 查询引擎，它提供了...可以使用 Hive on Spark 查询和聚合数据，以生成用户画像，例如根据用户的浏览历史、购买记录等信息推断其兴趣爱好，以便更好地定向推荐商品或服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值