新集群环境
1.HDP3.0.1
2.hadoop3.1.1
3.spark2.3.1
4.kafka1.1.1
5.hive3.1.0
6.未开启kerberos
背景介绍
需要使用新升级的hdp3.0.1集群,原有的程序是在HDP2.6.4上面运行,读kafka写hive,因集群升级(对应的hadoop,hive版本变动较大),需要同步更新程序依赖的jar包版本。
异常一:Hive support is required to CREATE Hive TABLE (AS SELECT)
org.apache.spark.sql.AnalysisException: Hive support is required to CREATE Hive TABLE (AS SELECT)
原因分析:hive版本变动较大,由原来1.2.1升级到3.1.0.导致spark程序建hive表的时候报此异常;
解决方案:spark-submit中添加参数:
–conf spark.sql.catalogImplementation=hive