本来是做一个项目的模拟数据生成
数据没有生成的时候:(执行的时候报错)

in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’:
大概意思就是不能实例化org.apache.spark.sql.hive.HiveSessionState
但是生成了源数据库

默认使用的spark自带的hive,按理说应该生成metastore_db以及spark_warehouse才对啊。但是只生成了metastore_db然后报错。
其实是生成了,但是生成在了IDEA安装的根目录下,原因可能是没有写的权限。

因为新换的电脑,需要Hadoop环境,因此需要重新安装Hadoop。电脑上有hadoop,且配置了Hadoop_Hom环境变量。然后新建path:%Hadoop_Home%\bin。确保有%Hadoop_Home%\bin\winutils.exe。我用的win10下编译好的,所以已经自带了winutils.exe。
win10下编译好的Hadoop下载路径(解压密码123456)
进入我的主页,在我的资源里。
Hadoop安装好了之后。CMD中执行下列代码,其中D是我的代码运行目录
2150



被折叠的 条评论
为什么被折叠?



