idea执行spark sql报错：java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive

huazi99于老师

于 2022-05-23 15:10:09 发布

阅读量787

点赞数

分类专栏：大数据文章标签： intellij-idea spark hive

本文链接：https://blog.youkuaiyun.com/huazi99/article/details/124923822

版权

大数据专栏收录该内容

18 篇文章

订阅专栏

在Windows环境下使用IDEA运行SparkSQL时，遇到因缺失Hadoop相关文件和未配置环境变量导致的错误。解决方法包括：将winutils.exe和hadoop.dll文件放入指定目录，配置环境变量，修改winutils.exe的权限。通过这些步骤可以成功运行SparkSQL代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

idea中执行spark sql代码：
spark.sql(“show tables”).show()
spark.sql(“create table user3(id int, name string)”)
。。。。
报错：
在这里插入图片描述
原因：
1、Window没有Hadoop的解压文件，更没有配置环境变量
2、缺少winutils.exe和hadoop.dll文件
3、权限没设置

解决：
1、将winutils.exe和hadoop.dll文件拷贝到windows下解压后的hadoop的bin文件夹下
（在Window/System32 下面也copy一份，不是必须）
在这里插入图片描述
2、配置环境变量

3、打开dos，进入winutils.exe所在目录，修改权限
D:\hadoop-2.6.5\bin>winutils.exe chmod 777 D:\tmp\hive 修改权限
D:\hadoop-2.6.5\bin>winutils.exe ls D:\tmp\hive 查看权限

4、重启idea