在IDEA中运行SparkSQL读取hdfs文件报java.io.IOException: (null) entry in command string: null ls -F F:\tmp\hive

最新推荐文章于 2023-03-14 19:58:54 发布

原创最新推荐文章于 2023-03-14 19:58:54 发布 · 3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive #hadoop

spark 专栏收录该内容

3 篇文章

订阅专栏

本文解决IDEA环境下运行SparkSQL读取HDFS文件时出现的java.io.IOException及AnalysisException错误。主要问题在于Windows未配置Hadoop环境变量、缺少winutils.exe及hadoop.dll文件。解决方案包括配置Hadoop环境、下载必要文件及调整hive目录权限。

在IDEA中运行Spark SQL读取hdfs文件时报java.io.IOException: (null) entry in command string: null ls -F F:\tmp\hive的错，
或者是报 Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: ---------; 这样的错
我的情况是 spark在虚拟机中安装的 Windows上没有安。

第一个错误主要原因是：

1、Windows上没有配hadoop的环境变量。
2、Spark初始化Hive上下文所需的winutils.exe文件丢失
3、hadoop bin目录下的 hadoop.dll 文件丢失

解决方案：

1、在Windows上配置Hadoop的运行环境

打开我的电脑高级系统设置中的环境变量设置。
在这里插入图片描述这里填写自己hadoop的安装路径！

在Path中加入bin目录和sbin目录

2、下载winutils 文件
点击下载即可
3、https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载hadoop.dll
4、最后一种办法：重新下载hadoop解压

第二个错误的解决方案：

1、win+r cmd 进入系统操作界面
2、在黑界面输入：echo%HADOOP_HOME%
查看自己是否配置好了hadoop的环境变量
3、在黑界面输入：%HADOOP_HOME%\bin\winutils.exe chmod 777 F:\tmp\hive
这里填写自己的\tmp\hive 的准确目录,我的是在f盘下
4、在黑界面输入：%HADOOP_HOME%\bin\winutils.exe ls F:\tmp\hive
查看权限
在这里插入图片描述变成这样就可以了。
5、重启自己的IDEA 运行代码即可。