spark sql on hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.

最新推荐文章于 2023-12-18 16:25:28 发布
原创 最新推荐文章于 2023-12-18 16:25:28 发布 · 7.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #sql

本文讨论了在使用SparkSQL on Hive进行大数据处理时遇到的内存不足问题。通过增加executor内存至6GB，成功解决了因where条件过多导致的运行时错误，确保了Spark任务的正常执行。

Spark sql on hive报如下的错误
ob failed with org.apache.spark.SparkException: File ./hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar exists and does not match contents of .../hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

发现where 条件一多，就报上面的错误，应该是内存不够导致的，故增加了内存的大小,然后就不报错了。

set spark.executor.memory=6g;

Hive任务执行报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
石榴姐yyds
06-29 8637
Hive任务执行报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
最新发布
qq_37647812的博客
03-26 2851
hive数据迁移过程中遇到的问题和解决方法
【Hive报错】FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
debimeng
12-13 2742
【场景】 在hive3.1版本下执行以下语句报错 --加载数据到桶表u_demo_bk中 insert into table u_tab_bk_p select * from u_tab; 可是插入到普通表和分区表的语句是能正常执行的。 【原因】 最后才知道是因为资源不足的问题，可是这数据量又不大，有可能hive的机制有关，本来它的场景就是为了解决大数据的问题。 【解决】 最后在主节点修改了yarn-site.xml文件，添加一个参数，即：关闭虚拟内存的检测，最后完整的内容如下： <co
Hive中运行任务报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
99滴神
05-06 4277
错误如下： java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:126) at org.apache.hadoop.fs.Path.<init>(Path.java:134) at org.apache.hadoop.mapreduce...
大数据hive篇--hive报错return 2 return 3 解决方式
qq_43709558的博客
10-25 1577
hive报错解决方式
Hive执行 报错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
goTsHgo的博客
12-08 1万+
项目场景： HiveOnSpark环境下执行hive脚本，报错。 问题描述： 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); } 原因分析： ..
Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
二十一克阳光！的博客
06-23 1973
通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中，在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用Distributed Cache将小表分发到各个节点上，以供Mapper加载使用)，由于在map时进行了join操作，省去了reduce运行的效率也会高很多。
精选资源
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
精选资源
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-优快云博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-优快云博客.mht
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
weixin_56114243的博客
12-15 8045
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
oaimm的专栏
08-26 1万+
Total MapReduce jobs = 1 14/08/24 20:29:11 WARN conf.Configuration: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 14/08/24 20:29:11 WARN con
Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile
qq_43688472的博客
12-18 3179
还有一些其他可能的原因，例如内存不足、Hive配置参数等。可以尝试调整Hive on Spark的相关配置参数，例如mapred.map.child.java.opts和mapred.reduce.child.java.opts，以及hive.auto.convert.join等参数，来解决内存不足的问题。最后，建议查看Spark任务的详细日志，以获取更多关于作业失败的具体原因。这可能是由于多种原因导致的，例如内存不足、JSON数据格式错误、缺少JSON Serde等。
Hive异常处理之return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
热门推荐
xuanzhuanguo的博客
12-24 2万+
使用使用hive执行任务的时候，执行一半了，提示 Job failed with java.lang.NullPointerException FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Pl...
Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
Tate的博客
11-10 1万+
Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask1、集群环境2、错误由来3、错误原因4、错误分析5、解决办法 1、集群环境 CDH集群，hive的引擎是mr。 2、错误由来 今天在测试环境的集群里跑hive任务，报错Error while processing statement: FAILE
return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime.
半岛铁盒的博客
12-02 1101
spark配置
spark sql on hive报错failed: execution error, return code 3 from org.apache.hadoop..ql.exec....
08-08
### 回答1： 这个错误提示是Spark SQL在Hive上执行时出现的错误，错误代码为3，可能是由于Hadoop执行时出现了问题导致的。建议检查Hadoop的配置和运行状态，以及Spark SQL和Hive的版本兼容性等问题。 ### 回答2： 当在Spark SQL on Hive中遇到"failed: execution error, return code 3 from org.apache.hadoop..ql.exec…. "的错误时，可能有几个原因导致此错误。 首先，这个错误通常与Hive的执行器有关。Hive的执行器负责将Hive查询转换为底层的MapReduce任务或Tez任务来执行查询。如果执行器遇到问题，可能会导致此错误。可以尝试检查Hive配置以确保执行器配置正确，并重新启动Hive服务。 另外，此错误也可能是由于输入输出路径的问题导致的。当在Hive中执行查询时，需要指定输入和输出路径。如果路径无效或权限不足，可能会导致此错误。可以确保输入输出路径正确，并且具有正确的权限。 还有一种可能性是由于查询本身或查询配置的问题导致。查询可能包含不受支持的语法或语义。可以尝试使用不同的查询进行测试，以确定是否只有特定的查询触发此错误。还可以检查Hive配置以确保所有必需的参数正确设置，并与Hive版本兼容。 最后，此错误可能由于集群的其他问题，如网络问题或资源不足引起。可以尝试重新启动集群并检查集群的健康状态。 总的来说，"failed: execution error, return code 3 from org.apache.hadoop..ql.exec…."的错误可能由于Hive执行器、路径问题、查询问题或集群问题导致。可以通过检查Hive配置、查询和集群状态，逐步排除这些可能的原因，以解决此错误。 ### 回答3： 当Spark SQL运行在Hive上时，报错"failed: execution error, return code 3 from org.apache.hadoop.hive.ql.exec"通常是由于Hive执行任务时发生了错误。 这个错误可能是由于以下几个原因导致的： 1. 数据库表或分区不存在：如果你的SQL查询中引用了不存在的表或分区，那么就会出现这个错误。请确保表和分区存在并正确地命名。 2. 文件路径错误：如果你的SQL查询中引用了不存在的文件路径，那么也会导致这个错误。请检查文件路径，并确保文件可用。 3. 内存不足：当Hive执行任务时，可能会因为内存不足而导致错误。可以尝试增加内存分配给Hive，或者优化查询以减少内存消耗。 4. 数据类型不匹配：如果你的SQL查询中使用了不匹配的数据类型，也会导致这个错误。请确保查询中使用的数据类型与表定义的数据类型一致。 5. 数据分区冲突：如果你的表是以分区方式存储的，并且查询条件与分区键不匹配，那么会出现这个错误。请检查查询条件，并确保与分区键匹配。 解决这个错误的方法包括： 1. 确保表和分区存在，文件路径正确，数据类型匹配，分区键匹配等。 2. 增加Hive的内存分配量。 3. 优化查询，减少内存消耗。 4. 检查Hive日志文件，查找更详细的错误信息，以帮助定位问题。 综上所述，当出现"failed: execution error, return code 3 from org.apache.hadoop.hive.ql.exec"错误时，我们应该仔细检查可能导致错误的各种原因，并采取适当的解决措施来解决问题。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值