Spark job failed during runtime. Please check stacktrace for the root cause.

万里长江横渡

已于 2022-09-19 14:19:54 修改

阅读量3.2k

点赞数 3

文章标签： spark hive 大数据

于 2022-09-19 13:33:12 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_44870066/article/details/126931646

版权

本文介绍了解决 Hive on Spark 执行时遇到的 Unexpected column vector type LIST 错误的方法。通过更改执行引擎为 MapReduce (MR)，可以避免此类问题。文章还提供了如何检查当前执行引擎及手动切换引擎的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive on spark报错
执行hive命令是报错

[42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

【原因】
在yarn上查看运行任务，从错误日志中查询报错结果

Map operator initialization failed: org.apache.hadoop.hive.ql.metadata.HiveException: Unexpected column vector type LIST

list类型错误
list在hive中对应的是数组，array对应Java中的list

【解决方式】
将执行引擎临时修改为MR

set hive.execution.engine=mr;

hive on spark存在很多bug，当出现不明所以的报错，先尝试将底层的执行引擎换为MR，在执行sql语句。

【后续修改】
1.查看hive当前的执行引擎：

set hive.execution.engine;

2.手动设置hive当前执行引擎为Spark

set hive.execution.engine=spark;

3.手动设置hive当前执行引擎为MR

set hive.execution.engine=mr;