Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

最新推荐文章于 2024-01-05 10:12:29 发布

原创最新推荐文章于 2024-01-05 10:12:29 发布 · 9.4k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs

大数据/HDFS/CDH/sqoop 专栏收录该内容

17 篇文章

订阅专栏

博客内容涉及Hive SQL在使用Spark执行时遇到ExecutionError，错误原因是YARN资源被Flink任务大量占用导致资源不足。解决办法是在`hive-site.xml`中增加配置，延长Spark客户端连接超时时间，以应对资源紧张情况。

问题描述：
   hql语句周期性调度执行，在某个时间后经常出现如下报错
   FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session
   报错的语句都是设置了 set hive.execution.engine=spark;参数，

   原因：发现yarn中应用程序新增了很多任务，flink任务持续占用着资源导致资源满了

   解决方案：
       在hive 参数中搜索"hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）" ,
       其中添加如下3个参数
       hive.spark.client.connect.timeout=30000
       hive.spark.client.server.connect.timeout=300000
       hive.spark.client.future.timeout=1200