Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

最新推荐文章于 2021-02-03 16:02:13 发布
原创 最新推荐文章于 2021-02-03 16:02:13 发布 · 2.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文针对在使用SparkSQL结合Hive时遇到的Userclassthrewexception异常，详细解析了异常产生的原因，主要为代码中config配置信息错误及hive.exec.scratchdir配置项拼写异常，并提供了具体的解决策略。

问题 User class threw exception: java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':

解决：代码里config 配置信息异常；hive.exec.scratchdir 的配置拼写异常

LAFEU
关注
notebook 运行 pyspark 报错 'org.apache.spark.sql.hive.HiveSessionStateBuilder'
十三
03-27 2544
Windows10 spark 2.2.3 Hadoop 2.7.6 python 3 当以pyspark --master local[2]或者pyspark启动时，会在运行 from pyspark.sql.session import SparkSession spark= SparkSession.builder.appName("your-app-name").getOrCreate()...
IDEA中创建Spark SQL 客户端 实例化时报错解决方案
GabrielCP的博客
05-09 872
本来是做一个项目的模拟数据生成 数据没有生成的时候：（执行的时候报错） in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’: 大概意思就是不能实例化org.apache.spark.sql.hive.HiveSessionState 但是生成了源数据库 默认使用的spark自带的hive，按理说应该生成meta
IDEA中使用Spark SQL 连接Hive
热门推荐
炼剑
04-15 2万+
IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的，Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序，在IDEA中连接Hive有些需要注意的地方，这里记录一下，折腾了一下午。1. 复制hive-site.xml将Spar
IDEA通过SparkSql访问hive报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder
zajbetterme的博客
03-25 7194
Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spark...
Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':
07-27
<groupId>org.apache.spark <artifactId>spark-hive_2.x ${spark.version} ``` 请注意，`${spark.version}` 应该替换为您实际使用的 Spark 版本。 4. 检查您的环境设置。确保您的环境正确设置了相关的环境变量...
error while instantiating 'org.apache.spark.sql.hive.hivesessionstate':
最新发布
03-19
</think>### 解决 `error instantiating org.apache.spark.sql.hive.HiveSessionState` 的方法 此错误通常与 Spark 和 Hive 的集成配置或依赖冲突有关，以下是分步解决方案： --- #### 1. **检查依赖和版本兼容性...
spark运行python文件时报java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'
08-30
当运行Spark中的Python脚本时，如果出现java.lang.IllegalArgumentException：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'的报错信息，通常是由于Spark配置或环境设置问题引起...
Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':
qq_40012203的博客
08-13 3887
使用spark-shell连接外部hive，出现下面错误： [diao@hadoop111 spark-2.1.1]$ bin/spark-shell 19/08/13 14:15:52 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java class...
Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
TheManOfCoding的博客
08-10 1万+
我在windows下面用idea运行spark-sql程序的时候，报了上面的那个错误，我尝试了很多方法，都没有啥效果，后来我往下继续阅读错误，发现了这个实质性错误Exception in thread "main"java.lang.UnsatisfiedLinkError。 如果是报Error while instantiating 'org.apache.spark.sql.hive.Hiv...
出错-运行spark-shell时报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
DraGon_HooRay的博客
01-27 1423
第一次运行spark-shell时报错 报错内容如下： [root@ducking spark-2.1.1]# spark-shell Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logg...
Spark-shell启动的时候报Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’错误
段渣渣推轮子的飙车场
04-04 8475
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.csdn.net/xiaoduan_/article/details/79815692 Spark-shell启动的时候报java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive...
运行spark报错Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
slibra_L的博客
04-02 6799
问题描述 最近换了一台电脑，将原电脑的spark streaming代码考到了新电脑上，使用IDEA运行却报错了 Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState' The root scratch dir: /tmp/hive on HDFS should be writable 经检查发现是/tmp/...
xml问题：Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘
君知君不知
07-16 641
Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apache.
windows下安装spark报错 Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘
我俏丽吗的博客
07-30 1490
windows下安装sparkFailed to get database default, returning NoSuchObjectException java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':新的改变功能快捷键合理的创建标题，有助于目录的生成windows 安装完spark执行spark-shell 报错如下:失败截图解决方法:再
IDEA SparkSQL连接外部hive报错Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘:
smallworldxyl的博客
02-03 2653
原图 Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apac
Spark读取hive数据报Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState
weixin_42963290的博客
04-11 4254
错误如下： Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Nati...
CDH6.0初始化pyspark Error while instantiating org.apache.spark.sql.hive.HiveSessionStateBuilder
Shyllin的博客
05-24 1879
CDH 集群中初始化pyspark 报错"Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’:"
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值