IDEA运行MapReduce出现entry in command string: null chmod 0700异常解决方案

最新推荐文章于 2022-03-14 22:23:23 发布

原创最新推荐文章于 2022-03-14 22:23:23 发布 · 2.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #intellij idea #hadoop

将hadoop/bin下的hadoop.dll和winutils.exe拷贝到C:\Windows\System32下，然后重新加载IDEA项目，再次打开，运行即可解决此异常.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序干货王

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

记录以下出现：java.io.IOException: (null) entry in command string: null ls -F E:\file\a.txt 情况怎么办？

TrueDei

01-31

3311

记录以下出现： Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F E:\file\a.txt 情况怎么办？原来这样写的解决办法尝试着把路径补全 file:///E:/file/a.txt file:///...

idea本地运行mapreduce程序

热门推荐

chenzhongwei99的专栏

05-19

1万+

上一篇文章介绍了如何在idea上运行hdfs程序，中间出现了很多错误，通过不断的在网上查找资料和自己的尝试。终于可以正常运行了。这篇我们将进行mapreduce程序的调试。准备工作：下载hadoop到windows本地地址:https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz 解

参与评论您还未登录，请先登录后发表或查看评论

Windows开发hadoop本地模式下出现[(null) entry in command string: null chmod 0700]

qq_43222167的博客

08-25

693

错误解决办法我这边的原因是没有配置环境变量配置环境变量这两个文件的下载地址在:https://github.com/SweetInk/hadoop-common-bin 配置好之后再弄就可以了如果还是不行可以将hadoop.dll和winutils.exe放入到C:\Windows\System32下再设置一下文件夹的权限创建C:\tmp\hive 在$HADOOP_HOME/bin$执行winutils.exe chmod -R 777 C:\tmp\hive ...

java.io.IOException: (null) entry in command string: null chmod 0700 E:\tmp\hadoop\mapred\staging\te

学习学习

07-22

5389

Exception in thread “main” java.io.IOException: (null) entry in command string: null chmod 0700 E:\tmp\hadoop\mapred\staging\test1676876159.staging 报错信息： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactor

(null) entry in command string: null chmod 0700

kingxuexi的博客

02-17

1万+

eclipse 中运行 Hadoop2.7.3 map reduce程序出现错误(null) entry in command string: null chmod 0700 两种解决方法： 1.参考winutils.exe方法 2.在程序中指定hadoop.home.dir System.setProperty("hadoop.home.dir","hadoop的文件路

eclipse中运行mapreduce报错：(null) entry in command string: null chmod 0700

IcyWang1的博客

11-22

2032

在eclipse 中运行 Hadoop2.7.4 map reduce程序出现错误(null) entry in command string: null chmod 0700提供两种解决方法：1.将winutils.exe添加到win里安装的hadoop的bin下，将hadoop.dll文件放到win的system32下 2.程序中配置hadoop.home.dir

windows开发hadoop出现[(null) entry in command string: null chmod 0700]

qq_33252988的博客

08-12

7027

eclipse 中运行 Hadoop2.7.3 map reduce程序出现错误(null) entry in command string: null chmod 0700 解决方法: 下载(https://github.com/SweetInk/hadoop-common-2.7.1-bin) 将hadoop.dll文件拷贝至c://windows/system32文件...

在IDEA编写MapReduce程序加载数据出现错误：(null) entry in command string: null chmod 0644

weixin_49588247的博客

03-14

3794

entry in command string: null chmod 0644

hadoop.dll

12-15

在这个场景中，问题出现在尝试在Eclipse环境中运行Hadoop 2.6或更高版本的MapReduce程序时，遇到了一个特定的错误提示："null entry in command string: null chmod 0700"。这个错误通常与权限配置、环境变量设置...

【已解决】调用MapReduce程序INFO mapreduce.Job: Task Id : attempt_1607842602362_0032_m_000000_2, Status : FAIL

weixin_46119343的博客

12-19

9997

题目 1.求每个订单中最贵的商品（GroupingComparator）我将该数据源上次至hadoop集群中，随后调用编写好的MapReduce程序，结果报错如下：20/12/19 12:18:08 INFO mapreduce.Job: Task Id : attempt_1607842602362_0032_m_000000_2, Status : FAIL 解决流程：我检查了一下数据源文件，我将数据源存放在一个Grouping.txt文件中，该数据源如下：随后我把该文件上传至集群，作为调用Ma

eclipse 中运行 Hadoop2.7.3 map reduce程序出现错误(null) entry in command string: null chmod 0700

kw-home

11-09

2651

环境：windows Hadoop版本：hadoop2.7.3 开发工具：eclispe-hadoop-plugin 运行map reduce任务报错： (null) entry in command string: null chmod 0700 解决办法：在https://github.com/SweetInk/hadoop-c

eclipse 中运行 Hadoop2.7.3 map reduce程序出现错误(null) entry in command string: null chmod 0700...

weixin_34184561的博客

07-19

260

运行map reduce任务报错： (null) entry in command string: null chmod 0700 解决办法：在https://download.youkuaiyun.com/download/xiaoliu123586/10551225 中下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录。再...

(null) entry in command string: null chmod 0700的解决方法

watcher1230的博客

05-22

1万+

在eclipse 中运行hadoop2.7.3版本的mapreduce，报错Exception in thread “main” java.io.IOException: (null) entry in command string: null chmod 07000700，解决方法为： eclipse 中运行 Hadoop2.7.3 map reduce程序出现错误(null) entry i

Spark (null) entry in command string: null chmod 0700

tom_fans的博客

12-27

2887

使用ecplise来提交SPARK SQL的时候报错： Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.io.IOException: (null) entry in command string: null chmod 0700 C:\Use...

hadoop错误解决

涛博

04-24

378

出现错误为： (null) entry in command string:null chmod 0700 解决办法： 1.启动idea用 2.这时运行如果出现 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 这时就需要修改源码了： idea用ctrl+N输入N...

大数据技术之Hadoop（MapReduce）第8章常见错误及解决方案

尚硅谷铁杆粉丝的博客

08-23

1170

1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。 3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4...

IDEA手写wordcount及Exception in thread “main“ java.io.IOException: (null) entry in command string: null

weixin_46376562的博客

08-06

2391

新建maven工程 File --> new -->progect 选择maven工程编辑pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:/

Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive

最新发布

06-20

### Spark SQL分析异常问题：文件权限相关错误解决方案 在运行Spark SQL时，遇到`java.io.IOException`或`org.apache.spark.sql.AnalysisException`等异常，通常与HDFS文件权限、临时目录配置以及Windows环境下的工具缺失有关。以下是针对这些错误的详细分析和解决方法。 #### 1. 错误原因分析 - **第一个错误**：`java.io.IOException: (null) entry in command string: null ls -F F:\tmp\hive` 这个错误表明Spark尝试执行Hadoop命令（如`ls`）来检查文件权限，但由于某些配置缺失或路径不正确导致失败[^1]。 - **第二个错误**：`Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.` 此错误提示`/tmp/hive`目录在HDFS上不可写入，可能是由于权限不足或目录未正确创建[^1]。 #### 2. 解决方案 ##### 2.1 配置HDFS上的`/tmp/hive`目录权限确保HDFS上的`/tmp/hive`目录存在且具有正确的权限： ```bash hdfs dfs -mkdir -p /tmp/hive hdfs dfs -chmod 777 /tmp/hive ``` 上述命令会创建`/tmp/hive`目录并赋予其完全权限，以允许Spark写入临时数据[^1]。 ##### 2.2 Windows环境下配置`winutils.exe` 在Windows系统中运行Spark时，需要提供`winutils.exe`工具来模拟Hadoop命令。如果没有正确配置，会导致类似`null ls`的错误[^4]。 - 下载`winutils.exe`工具（参考链接：[winutils.exe](https://github.com/steveloughran/winutils/raw/master/hadoop-2.6.0/bin/winutils.exe)）。 - 将其放置到本地路径，例如`C:\hadoop\bin\winutils.exe`。 - 设置环境变量`HADOOP_HOME`为`C:\hadoop`，并确保`%HADOOP_HOME%\bin`已添加到系统`PATH`中。验证配置是否成功： ```cmd winutils.exe chmod 777 F:\tmp\hive ``` 如果命令无报错，则说明配置正确。 ##### 2.3 调整Spark配置在代码中明确指定HDFS上的临时目录路径，并确保其可写入。可以通过以下配置实现： ```scala val ss = SparkSession.builder() .master("local[2]") .appName("the test of SparkSession") .config("spark.hadoop.mapreduce.input.fileinputformat.split.maxsize", "67108864") .config("spark.sql.warehouse.dir", "hdfs://namenode:8020/user/hive/warehouse") // 指定Hive仓库路径 .config("spark.local.dir", "F:/tmp/spark") // 指定本地临时目录 .enableHiveSupport() .getOrCreate() ``` 上述代码中的`spark.local.dir`指定了本地临时目录，避免使用默认路径引发权限问题[^2]。 ##### 2.4 检查依赖Jar包确保Spark集群中包含所有必要的依赖库，特别是与HBase、Hive兼容的Jar包。例如： - `hbase-hadoop2-compat-1.2.0.jar` - `guava-12.0.1.jar` - `protobuf-java-2.5.0.jar` 可以使用以下命令列出所需Jar包： ```bash ls /usr/local/hbase-1.2.0/lib | grep -E 'compat|guava|protobuf' ``` 如果缺少某些Jar包，请从官方仓库下载并添加到classpath中[^3]。 #### 3. 示例代码调整以下是一个完整的代码示例，结合了上述配置调整： ```scala import org.apache.spark.sql.SparkSession object SparkSqlHive { def main(args: Array[String]): Unit = { val ss = SparkSession.builder() .master("local[2]") .appName("the test of SparkSession") .config("spark.sql.hive.convertMetastoreOrc", "false") // 使用HiveTableScanExec读取ORC表 .config("spark.hadoop.mapreduce.input.fileinputformat.split.maxsize", "67108864") .config("spark.sql.warehouse.dir", "hdfs://namenode:8020/user/hive/warehouse") .config("spark.local.dir", "F:/tmp/spark") .enableHiveSupport() .getOrCreate() // 删除临时表 ss.sql("DROP TABLE IF EXISTS temp.temp_ods_start_log") // 读取Hive ORC表数据到临时表 val df = ss.sql("CREATE TABLE IF NOT EXISTS temp.temp_ods_start_log AS SELECT substr(str, 1, 10) AS str10 FROM biods.ods_start_log WHERE dt='20210721'") // 触发Action算子 df.count() // 延迟线程以便观察Spark UI Thread.sleep(1000000) ss.stop() } } ``` --- ###