idea 连接hive(cdh3)问题1

环境:win7 64bit

        hadoop: hadoop2.0.0-cdh3u6

        spark2.3.1

问题现象:

Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found.

at org.apache.spark.sql.SparkSession$Builder.enableHiveSupport(SparkSession.scala:868)
...
附:(spark1.6中这个问题表现为URL找不到,其实还是classes are not found问题)

参考原因: 

1. 依赖缺失:  https://stackoverflow.com/questions/39444493/how-to-create-sparksession-with-hive-support-fails-with-hive-classes-are-not-f 

2. cdh低版本不支持(我的根本原因) https://www.cloudera.com/documentation/enterprise/5-5-x/topics/admin_hos_config.html#hos_config__hos_enable_disable

spark官网介绍连接hive(没说cdh版本问题) http://spark.apache.org/docs/latest/sql-programming-guide.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值