idea执行mapreduce报错 Could not locate Hadoop executable: C:\hadoop-3.1.1\bin\winutils.exe

最新推荐文章于 2024-10-30 10:11:42 发布
最新推荐文章于 2024-10-30 10:11:42 发布
阅读量935 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 java 开发工具
原文链接：http://www.cnblogs.com/Springmoon-venn/p/10061109.html
本文详细解析了在Windows环境下执行MapReduce时遇到的FileNotFoundException及UnsatisfiedLinkError问题，并提供了具体解决方案，包括winutils.exe和hadoop.dll的正确安装路径。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

　　window执行mapreduce报错　　

Exception in thread "main" java.lang.RuntimeException: java.io.FileNotFoundException: Could not locate Hadoop executable: C:\hadoop-3.1.1\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:737)
    at org.apache.hadoop.util.Shell.getSetPermissionCommand(Shell.java:272)
    at org.apache.hadoop.util.Shell.getSetPermissionCommand(Shell.java:288)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:840)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:522)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:562)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:534)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:561)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:539)
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:332)
    at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:162)
    at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:113)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:151)
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570)
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1567)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588)
    at com.venn.demo.WordCount.main(WordCount.java:77)
Caused by: java.io.FileNotFoundException: Could not locate Hadoop executable: C:\hadoop-3.1.1\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems
    at org.apache.hadoop.util.Shell.getQualifiedBinInner(Shell.java:620)
    at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:593)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:690)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)
    at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:3533)
    at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:3528)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3370)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:477)
    at com.venn.util.HdfsUtil.isPathExist(HdfsUtil.java:18)
    at com.venn.util.HdfsUtil.handleOutPutPath(HdfsUtil.java:47)
    at com.venn.demo.WordCount.main(WordCount.java:28)

注： C:\hadoop-3.1.1 是配置的 HADOOP_HOME 路径

　　下载对应版本的 winutils.exe，放到  路径：  C:\hadoop-3.1.1\bin\   下。

　　然后，你会发现又有个新的bug。O(∩_∩)O哈哈~　　　

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:640)
    at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:1223)
    at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:160)
    at org.apache.hadoop.util.DiskChecker.checkDirInternal(DiskChecker.java:100)
    at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:77)
    at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.confChanged(LocalDirAllocator.java:315)
    at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:378)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:152)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:133)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:117)
    at org.apache.hadoop.mapred.LocalDistributedCacheManager.setup(LocalDistributedCacheManager.java:124)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.<init>(LocalJobRunner.java:172)
    at org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:788)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:254)
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570)
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1567)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588)
    at com.venn.demo.WordCount.main(WordCount.java:77)

 

　　再下载个对应版本的 hadoop.ddl ，放到  C:\Windows\System32  ，就搞定了

 

　　一般来说， winutils.exe 和 hadoop.ddl 同一个大版本应该都可以

　　

 

转载于:https://www.cnblogs.com/Springmoon-venn/p/10061109.html

anfuyi5792
关注
【异常】FileNotFoundException: Could not locate Hadoop executable: E:\Hadoop\hadoop\bin\winutils.exe
本本本添哥
05-09 1036
在win10操作系统上，运行Hadoop以及其相关依赖包（比如Hbase依赖包）时，会报 Could not Locate Hadoop executable:E:\Hadoop\hadoop\bin\winutils.exe 异常。
Hadoop（MapReduce）
cookie的博客
07-08 2058
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
java 版本文件导致 Job job = Job.getInstance(configuration); 报错
底层码农
03-27 1万+
Exception in thread "main" java.lang.ExceptionInInitializerError at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80) at org.apache.hadoop.security.SecurityUtil.getAuthen...
解决Windows运行Hadoop时报错：Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
qq_41395106的博客
04-08 2885
在我们编写好RPC协议代码后，准备在Windows上运行，可是有的人会报类似错：Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries. ...
【已解决】Could not locate executable E:\Hadoop\bin\winutils.exe in the Hadoop binaries.
Junnix的博客
04-09 4610
【已解决】Could not locate executable E:\Hadoop\bin\winutils.exe in the Hadoop binaries. 问题原因：在hadoop/bin目录下缺少了winutils.exe和hadoop.dll。 解决方法： 在官网下载所需版本的winutils.exe和hadoop.dll。 下载好后，将hadoop.dll拷贝进C://Windows//system32目录下 将winutils.exe和hadoop.dll拉近hadoop文件夹下的bi
【hadoop系列】-windows运行hadoop报没有找到winutils.exe
qq_22744093的博客
06-10 2687
通过查询https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems 意思是： Hadoop需要Windows上的本地库才能正常工作——包括访问file:// filesystem，其中Hadoop使用一些Windows api来实现类似posix的文件访问权限。 这是在HADOOP.DLL和WINUTILS.EXE中实现的。 特别地，%HADOOP_HOME%\BIN\WINUTILS.EXE必须是可定位的。 否则，Hadoop或
STARTUP_MSG: host = 小明同学/192.168.3.104 STARTUP_MSG: args = [] STARTUP_MSG: version = 3.3.4 STARTUP_MSG: classpath = D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\etc\hadoop;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\accessors-smart-2.4.7.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\animal-sniffer-annotations-1.17.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\asm-5.0.4.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\audience-annotations-0.5.0.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\avro-1.7.7.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\checker-qual-2.5.2.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-beanutils-1.9.4.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-cli-1.2.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-codec-1.15.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-collections-3.2.2.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-compress-1.21.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-configuration2-2.1.1.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-daemon-1.0.13.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-io-2.8.0.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-lang3-3.12.0.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-logging-1.1.3.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-math3-3.1.1.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-net-3.6.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\commons-text-1.4.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\curator-client-4.2.0.jar;D:\Hadoop\hadoop3.3.4\hadoop-3.3.4\share\hadoop\common\lib\curator-framework-4.2.0.jar;D:\Hadoop\hadoo
最新发布
04-02
java.io.IOException: Could not locate executable null\bin\winutils.exe ``` #### 6. 手动验证classpath 通过命令行测试： ```cmd hadoop classpath --glob ``` 正常应输出所有JAR文件路径，格式为： ```text C:...
3 Hadoop-HDFS
PhoenixLuo·的博客
04-04 1208
目录 3.1 Apache版本Hadoop重新编译 3.1.1 为什么要编译Hadoop 3.1.2 编译环境的准备 3.2 Hadoop安装 3.2.1 上传apache Hadoop包并压缩 3.2.2 修改配置文件 3.2.3 配置Hadoop的环境 3.2.4 启动集群 3.3 Hadoop核心-HDFS 3.3.1 HDFS概述 3.3.2 HDFS应用场景 适合的应用场景 不适合的应用场景 3.3.3 HDFS架构 3.3.4 NameNode和DataNode
windows运行saprk程序：Did not find winutils.exe、Could not locate Hadoop executable:
枪枪枪的博客
08-15 4949
21/08/15 22:38:58 WARN Shell: Did not find winutils.exe: {} java.io.FileNotFoundException: Could not locate Hadoop executable: D:\main\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems at org.apache.hadoop.util.Shell.getQual
java.io.FileNotFoundException: Could not locate Hadoop executable:
StephenYou的自习室
10-13 2701
java.io.FileNotFoundException: Could not locate Hadoop executable 在win10环境下使用IDEA进行MR编程遇到下列问题： 如提示所示出现该问题的原因是windows上没有Hadoop运行必须的插件wintils.exe，这个文件在Hadoop官网的安装包中是没有的，所以需要自行下载，有需要的可以在我分享csdn资源中下载：...
hadoop的winutils.exe及hadoop.dll文件
08-13
我的报错：Could not locate Hadoop executable: E:\big_data\hadoop-3.3.0\bin\winutils.ex hadoop的winutils.exe及hadoop.dll文件,可以用于hadoop3.3. 下载好直接将两个文件复制到我们hadoop的bin目录下就行了
hadoop2.7.3 hbase 1.3.1 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
NON blog
09-09 503
使用hbase客户端连接集群时发现这个错误： 说不能执行本地的winutils.exe,我是在windows上连接集群的，确实没有设置hadoop的环境变量。而且hadoop2.7.3的bin下也没有winutils.exe这个可执行文件。 经百度发现：是少了hadoop-common-2.2.0-bin这个包 这是下载地址：https://github.com/srccodes/hadoop
java.io.FileNotFoundException: Could not locate Hadoop executable: （详细解决方案）
GDDGHS_的博客
10-30 598
这个错误 就是缺少winutils.exe 所以报这个错误，把它放到你的hadoop的bin目录下问题就解决了。我们要先去hadoop的bin目录下去看看里面是否有 winutils.exe。
java.io.FileNotFoundException: Could not locate Hadoop executable由eclipse报错
Super__Ren的博客
08-08 2818
情景：在windows下使用eclipse开发hadoop，对hdfs执行操作时报错： Failed to find winutils.exe java.io.FileNotFoundException: Could not locate Hadoop executable: D:\Developer\hadoop-2.8.4\bin\winutils.exe -see https://wiki...
win10中编译hadoop java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop
大众博客
01-22 729
在win10本地中下载hadoop包 如 然后到https://github.com/srccodes/hadoop-common-2.2.0-bin 中下载下来 找到下载下来的文件，将bin目录替换到hadoop\bin目录下 然后配置环境变量 到path上双击打开上图如最后一个配置就行
hadoop错误Could not locate Hadoop executable: D:\sorftware\hadoop\hadoop-2.8.0\bin\winutils.exe
漫天雪_昆仑巅
07-04 1万+
在hadoop/bin目录下缺少了winutils.exe和hadoop.dllException in thread "main" java.lang.RuntimeException: java.io.FileNotFoundException: Could not locate Hadoop executable: D:\sorftware\hadoop\hadoop-2.8.0\bin\w...
（完美解决）java文件操作报错：java.io.FileNotFoundException（拒绝访问）
热门推荐
m0_61083409的博客
03-24 3万+
01-错误信息： Exception in thread "main" java.io.FileNotFoundException: e:b (拒绝访问。) at java.io.FileOutputStream.open0(Native Method) at java.io.FileOutputStream.open(Unknown Source) at java.io.FileOutputStream.<init>(Unknown Source) at java.io.FileOu
IDEA运行正常，jar包报路径未找到java.io.FileNotFoundException:
qq_52519229的博客
01-16 4752
正常运行的代码，打成jar包运行，报java.io.FileNotFoundException:。即：解决如何从jar包读取资源问题
【Java报错已解决】 Java.io.FileNotFoundException
鸽芷咕的博客
10-20 4673
在 Java 开发的过程中，报错信息常常让开发者们感到困扰。其中，Java.io.FileNotFoundException 是一个较为常见的报错。当遇到这个报错时，如何快速有效地解决呢？本文将深入探讨这个问题，为开发者和环境配置者提供详细的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值