HDP3.0.1集群适配spark程序异常处理

新集群环境

1.HDP3.0.1
2.hadoop3.1.1
3.spark2.3.1
4.kafka1.1.1
5.hive3.1.0
6.未开启kerberos

背景介绍

需要使用新升级的hdp3.0.1集群，原有的程序是在HDP2.6.4上面运行，读kafka写hive，因集群升级(对应的hadoop,hive版本变动较大)，需要同步更新程序依赖的jar包版本。

异常一：Hive support is required to CREATE Hive TABLE (AS SELECT)

org.apache.spark.sql.AnalysisException: Hive support is required to CREATE Hive TABLE (AS SELECT)

原因分析：hive版本变动较大，由原来1.2.1升级到3.1.0.导致spark程序建hive表的时候报此异常；
解决方案：spark-submit中添加参数：

–conf spark.sql.catalogImplementation=hive

参考链接: https://stackoverflow.com/questions/50594680/hive-support-is-required-to-create-hive-table-as-select/51179625.