hive on spark 趟坑指南

为什么80%的码农都做不了架构师？>>>   

1、执行SQL 查询时候，报Failed to submit Spark work 错误。

Failed to execute spark task, with exception 'java.lang.Exception(Failed to submit Spark work, please retry later)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to submit Spark work, please retry later

这个问题，需要看具体的错误在哪里，再做解决，不要随便归结于 spark 与 hive 版本不兼容。 建议大家修改hive 日志级别查看错误, 大家将 -e 后面的sql 换成自己这边的，查看输出中的错误信息，定位修改

hive --hiveconf hive.root.logger=DEBUG,console  -e "use userdb;select count(*) from app_yyb;"

转载于:https://my.oschina.net/2devil/blog/3056772