在升级到HDP3.0.1集群后，遇到包括Hive支持创建Hive表异常、不支持MR执行引擎异常和HftpFileSystem访问异常等问题。针对这些问题，分别通过设置spark.sql.catalogImplementation=hive、替换hive-site.xml配置文件以及更新组件版本来解决。确保Spark程序在新集群环境中正常运行。
新集群环境
1.HDP3.0.1
2.hadoop3.1.1
3.spark2.3.1
4.kafka1.1.1
5.hive3.1.0
6.未开启kerberos
背景介绍
需要使用新升级的hdp3.0.1集群，原有的程序是在HDP2.6.4上面运行，读kafka写hive，因集群升级(对应的hadoop,hive版本变动较大)，需要同步更新程序依赖的jar包版本。
异常一：Hive support is required to CREATE Hive TABLE (AS SELECT)
org.apache.spark.sql.AnalysisException: Hive support is required to CREATE Hive TABLE (AS SELECT)
原因分析：hive版本变动较大，由原来1.2.1升级到3.1.0.导致spark程序建hive表的时候报此异常；
解决方案：spark-submit中添加参数：
–conf spark.sql.catalogImplementation=hive
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
