IDEA中创建Spark SQL 客户端实例化时报错解决方案

最新推荐文章于 2025-04-28 19:57:36 发布

原创

最新推荐文章于 2025-04-28 19:57:36 发布 · 872 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

在IDEA中创建Spark SQL客户端时遇到IllegalArgumentException，原因是无法实例化'HiveSessionState'。问题在于生成的metastore_db位于IDEA根目录，导致写权限不足。解决方法包括：确保安装并配置了Hadoop环境，特别是设置%Hadoop_Home%in在PATH中，提供winutils.exe，并通过CMD赋予相应目录写权限。重启IDEA后，问题得到解决，能成功生成metastore_db和spark_warehouse。

本来是做一个项目的模拟数据生成
数据没有生成的时候：（执行的时候报错）
在这里插入图片描述
in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’:
大概意思就是不能实例化org.apache.spark.sql.hive.HiveSessionState
但是生成了源数据库

默认使用的spark自带的hive，按理说应该生成metastore_db以及spark_warehouse才对啊。但是只生成了metastore_db然后报错。
其实是生成了，但是生成在了IDEA安装的根目录下，原因可能是没有写的权限。
在这里插入图片描述
因为新换的电脑，需要Hadoop环境，因此需要重新安装Hadoop。电脑上有hadoop，且配置了Hadoop_Hom环境变量。然后新建path：%Hadoop_Home%\bin。确保有%Hadoop_Home%\bin\winutils.exe。我用的win10下编译好的，所以已经自带了winutils.exe。
win10下编译好的Hadoop下载路径（解压密码123456）
进入我的主页，在我的资源里。