IDEA进行Hadoop-HDFS API编程报错:Failed to locate the winutils binary in the hadoop binary path

最新推荐文章于 2023-06-26 13:03:17 发布
最新推荐文章于 2023-06-26 13:03:17 发布
阅读量3.9k 收藏 5
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wzj_wp/article/details/103967979
版权
在IDEA中使用Hadoop-HDFS API时遇到报错：Failed to locate the winutils binary in the hadoop binary path。解决方法包括配置Windows环境变量，确保HADOOP_HOME指向正确目录，并在系统路径中添加%HADOOP_HOME%in。还需下载并放置hadoop.dll, winutils.exe, winutils.pdb到相应目录，最后重启电脑。" 87981350,8257349,使用信息熵自动生成正则表达式,"['Python', '人工智能', '数据处理']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误：
ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

虽然不影响操作，但是依然看着非常的不舒服
在这里插入图片描述

解决方案
  • 1.windows配置环境变量
    HADOOP_HOME --> D:\hadoop\hadoop-2.6.0-cdh5.16.2
    Path --> %HADOOP_HOME%\bin

D:\hadoop\hadoop-2.6.0-cdh5.16.2是我自己hadoop的安装位置

验证：任意位置输入hadoop命令，如下则环境变量配置正常
在这里插入图片描述

  • 2.适配64位操作系统：hadoop.dll,winutils.exe ,winutils.pdb
    下载地址 提取码：oxyq
    将这三个文件拷贝到%HADOOP_HOME%\bin目录下

  • 3.拷贝hadoop.dll文件到C:\Windows\System32路径之下

  • 4.重启电脑，清爽！

在这里插入图片描述

最低0.47元/天 解锁文章
hadoop疑难问题解决_Failed to locate the winutils binary in the hadoop binary path java.io.IOException
上好佳的博客
06-06 683
根据错误提示信息我们可以得知：在hadoop的binary包中没有定位到winutils binary，所以在加载winutils文件过程中出现IO异常。这是因为在集成spark的时候winutilf以及hdfs.dll两个包不兼容导致的，所以我们只需要更换这两个包，保证其兼容性即可；
【大数据技术干货】帮你解决凡是window操作hadoop都会遇到的问题异常：Failed to locate the winutils binary in the hadoop binarypath
liuchunhang的博客
12-09 196
一异常：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 1 我每次在idea中操作spark，hbase，hdfs，mapreduce等与服务器集群中的搭建的hadoop集群有关联的时候，都会报出这个错误，例如当我准备把spark：rdd中的数据上传到mys...
Hadoop运行报错：Failed to locate the winutils binary in the hadoop binary path java.io.IOException
Hdu_lc14015312的博客
03-06 1493
今天因为在window上运行hadoop，于是下载了Hadoop2.7.2版本的hadoop并解压，但是运行报错：出现两个错误 报错一：Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable D:\hadoop-2.7.2\bin...
WIN7下运行hadoop程序报：Failed to locate the winutils binary in the hadoop binary path
weixin_30429201的博客
10-14 134
项目中用到了Hbase,貌似用了Hadoop。 项目启动的时候，报了错，但是不影响正常使用。 但是，控制台有红色错误，看着不太爽，就想办法把这个问题解决了。 错误提示“Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executa...
解决idea运行Hadoop项目报错：Failed to locate the winutils binary in the hadoop binary path
zzzinsser的博客
08-18 1万+
背景：idea运行Hadoop项目报错：Failed to locate the winutils binary in the hadoop binary path。 通过网上查找方法解决发现程序需要根据HADOOP_HOME找到winutils.exe,由于win机器并没有配置该环境变量，所以程序报 null\bin\winutils.exe。 解决办法：安装Windows版本hadoop，再配置环境变量 第一步 下载hadoop的windows版本 Windows版本的Hadoop需要在2.2之后可自
Hadoop报错：Failed to locate the winutils binary in the hadoop binary path
weixin_33843409的博客
12-05 1118
1 发现问题在虚拟机中搭建了hadoop集群，在windows中通过代码访问报错 15/06/11 15:35:50 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate exe...
IDEA运行spark程序错误解决：Failed to locate the winutils binary in the hadoop binary path
ly4183041的博客
07-23 558
未能在hadoop二进制文件路径中找到winutils二进制文件 第一步：下载winutils的windows版本。打开GitHub地址：https://github.com/srccodes/hadoop-common-2.2.0-bin, 直接下载此项目的zip包，下载后是文件名是hadoop-common-2.2.0-bin-master.zip,随便解压到一个目录。例如解压目录为：e:\env\ 第二步：配置环境变量 。增加系统变量名HADOOP_HOME，变量值为刚刚解压的目录，例如E:\env\
windows10下操作HDFS报错：Failed to locate the winutils binary in the hadoop binary path（防坑篇）
qq_43437122的博客
03-22 642
今天在Windows上面操作Linux下的HDFS，结果一直报这个错误，搞了好长时间才解决，所以记录一下，让他人和自己少入坑。 错误详情： ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\...
解决IDEA：Failed to locate the winutils binary in the hadoop binary path
热门推荐
master_hunter的博客
04-07 1万+
出现这个问题一般是未找到本地上的Hadoop路径，环境变量没有配置或者是没有下载hadoop环境。 解决方法： 1.去官网下载自己需要的hadoop版本： http://archive.apache.org/dist/hadoop/ 下载完后解压到指定的目录之下记住目录名字。 2.下载相对应的hadoop-common https://download.youkuaiyun.com/download/master_hunter/16530725 将其中的放入原来hadoop的bin目录下 3.编辑环境变
解决报错：Failed to locate the winutils binary in the hadoop binary path
sugar_HIT的博客
10-29 7314
项目要使用spark查询ElasticSearch中的数据。在使用spark时（创建spark context）出现这样一个错误： 报错信息： ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable nu...
Spark在windows运行报错-ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io-附件资源
03-02
Spark在windows运行报错-ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io-附件资源
idea运行Spark程序报错Failed to locate the winutils binary in the hadoop binary path解决方案
qq_39067793的博客
12-30 489
idea运行Spark程序报错Failed to locate the winutils binary in the hadoop binary path解决方案 网上很多要下载hadoop包然后配置环境变量,这样很麻烦,下面是一个简单的 一、 首先下载我准备的压缩包 链接：https://pan.baidu.com/s/1KYt9l88k22FZZlbIZnylXw 提取码：tajl 二、解压...
idea 提示：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOE...
weixin_34315485的博客
06-18 5754
Windows系统中的IDEA链接Linux里面的Hadoop的api时出现的问题 提示：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException 虽然程序任然能够正常的运行，但是Run页面不停的提示错误信息也是够烦的。 问题原因：在windows环...
IDEA开发Spark提示：Failed to locate the winutils binary in the hadoop binary path
duyenson的博客
11-19 610
今天在运行Sparkstreaming时，出现了spark提示错误： 19/11/19 13:14:36 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe ...
本地运行hadoop-Failed to locate the winutils binary in the hadoop binary path-转载
专注于后端开发，时常接触大数据 、人工智能等
03-20 254
转自：http://www.cnblogs.com/zq-inlook/p/4386216.html 之前在mac上调试hadoop程序（mac之前配置过hadoop环境）一直都是正常的。因为工作需要，需要在windows上先调试该程序，然后再转到linux下。程序运行的过程中，报Failed to locate the winutils binary in the hadoop binary ...
Failed to locate the winutils binary in the hadoop binary path
程序员_乐乐的博客
09-01 714
遇到问题:Failed to locate the winutils binary in the hadoop binary path 参考了大佬的解决办法:解决Hadoop报错：Failed to locate the winutils binary in the hadoop binary path 我的hadoop版本是2.7.2的 所以下了2.7.2的bin 配置好了环境变量之后在cmd中并不能显示hadoop版本并且显示找不到或无法加载主类 于是又参考了大佬的解决方案:解决安装Hadoop后cm
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
最新发布
想你依然心痛的博客
06-26 3万+
或者。
解决Hadoop报错：未找到winutils二进制文件的方法
其中一个常见的错误信息是：“Failed to locate the winutils binary in the hadoop binary path”或null/bin/winutils.exe。这通常意味着Hadoop的MapReduce任务在尝试访问Windows文件系统的操作时遇到障碍，因为...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值