IDEA启动hadoop报Could not locate executable null\bin\winutils.exe in the Hadoop binaries.错误的解决办法

【Spark】Spark报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries IDEA集成Scala和Spark之后,运行demo可能会报错: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 原因:我认为是因为在windows下单独使用Spark进行开发,并没有搭建Hadoop环境。 解决:下载 winutils.exe并... 阅读详情

打开了一个hadoop项目,项目代码确定无误可运行,但是本地运行报错如下
在这里插入图片描述

  • 仔细看一下报错路径,显示的是null\bin\winutils.exe 而我的winutils已经下载下来并且复制到bin目录下,并且命令行可以正常使用。猜测是某个环境变量没有配置,导致路径最前面是null
  • 在这里插入图片描述
  • 在网上找到很多都需要在环境变量里配置HADOOP_HOME,而我没有配置,只在path里配置了hadoop路径,怀疑是否默认使用 %HADOOP_HOME%,所以尝试配置好该环境变量后运行程序。
  • 配置HADOOP_HOME后,果然可以正常启动,个人猜测IDEA启动时默认从%HADOOP_HOME%寻找其路径下的文件,如果没有配置,自然是null且报错
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 这是因为windows环境变量不兼容的原因。这里需要配置hadoop windows环境、JDK环境 winutils.exe是在Windows系统 上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类. 阅读详情

相关推荐

Hadoop【FAQ01】01:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

Hadoop【FAQ01】01:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

weixin_40612128的博客 930

全网独有windows10安装hadoop2.2.0

报错内容Could not locate executable null\bin\winutils.exe in the Hadoop binaries,没有安装hadoop导致的,本文给出全网独有的windows10安装hadoop2.2.0教程

weixin_43419816的博客 1653

解决Could not locate executable null\bin\winutils.exe

在windows环境下的eclipse或者idea中编写spark应用时,有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常: java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binarie 本文件可以解决此异常

Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决方式

仔细查看报错是缺少winutils.exe程序。Hadoop都是运行在Linux系统下的,在windows下eclipse中运行mapreduce程序,要首先安装Windows下运行的支持插件(我的是hadoop2.2.0)GitHub - srccodes/hadoop-common-2.2.0-bin: hadoop-common-2.2.0/bin在windows环境下需要在hadoop的包,其中包括winutils.exe文件。可以点击直接下载,然后解压缩。设置环境变量(第一个在环境变量下新建HAD

西楼的博客 3495

【AI实践】Dify调用本地和在线模型服务

Ollama可以本地部署模型,如何集成私有数据、如何外部应用程序对接,因此需要有一个应用开发框架。ip地址需要换成自己电脑的IP地址;模型名称需要和Ollama模型名称保持一致;docker是虚拟环境的主机,Ollama部署在本地主机,无法通过本机访问。找到Ollama,配置本地Ollama已经验证的模型,如phi3。在docker页面里面,也可以看到running。docker已经安装完成的情况下。,打开dify,注册登录后。在工作区选择调用即可。

AI_Gump的博客 4855

物联网开发131 - Micropython ESP32 C3连接TB6600驱动42BYGH39步进电机

如何使用合宙ESP32 C3连接TB6600驱动42BYGH39步进电机,实现控制步进电机正反转和旋转指定角度等

zhusongziye的博客 2372

【Spark】Could not locate executable null\bin\winutils.exe in the Hadoop binaries

项目场景: 在ideal中运行spark项目进行数据存储文件时报错。 问题描述: 报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries 原因分析: 原因:缺少winutils.exe程序 Hadoop都是运行在Linux系统下的,在windows下eclipse中运行mapreduce程序,要首先安装Windows下运行的支持插件 解决方案: 1.在与你安装的对应版本的hadoop文件包目录中到达

懂得一千零一种,赋予你失败的方法! 9871

在centos7部署k8s搭建kubernetes集群

Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。 Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着(比如用户想让apache一直运行,用户不需要关心怎么去做,Kubernetes会自动去监控,然后去重启,新建,总之,让apache一直提供服务),管理员可以加载一个微型服务,让规划器来找

山东梅长苏 1万+

环境变量IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 在windows启动idea远程连接hbase,这个winutil.exe主要用于模拟linux下的目录环境。需要这个辅助程序才能运行web应用 解决办法: 下载winutils地址https://github.com/srccodes/hadoop-common.

persistence勿忘初心 6049

NXP S32K3 Safety软件生态全解析:RTD、SPD、SAF、SCST到底怎么选?

本文深入解析NXP S32K3系列MCU的安全软件生态,详细对比RTD、SPD、SAF和SCST四大组件的功能定位与选型策略。针对不同ASIL等级需求,提供从架构设计到工程实践的完整解决方案,帮助开发者高效实现功能安全认证,优化汽车电子系统的安全性与可靠性。

weixin_42524226的博客 323

从频谱分析到硬件加速:用ZYNQ-7020+FFT IP核实现实时信号处理的完整方案

本文详细介绍了如何利用ZYNQ-7020和FFT IP核实现实时信号处理的完整方案,涵盖系统架构设计、硬件加速实现及性能优化。通过异构计算架构,该方案将1024点FFT处理延迟压缩至28μs,显著提升工业自动化和无线通信等领域的实时频谱分析效率。

weixin_33704234的博客 467

报错:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

在Windows上用IDEA本地运行Hadoop或者的spark程序时报错: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 19/04/02 14:50:28 ERROR Shell: Failed to locate the winutils binar...

weixin_43866709的博客 1645

【超详细】MIT 液态神经网络(LNNs)——深度学习新动向

输入可以是任何形式的时间序列数据,其中表示时间。例如传感器读数、金融市场数据、语音信号等。

allein_STR的博客 2611

解决Hadoop在本地(windows)操作报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

1、Hadoop错误信息:Failed to locate the winutils binary in the hadoop binary path. Could not locate executable null\bin\winutils.exe in the Hadoop binaries 2、原因:window本地无法获取hadoop的配置,报错是缺少winutils.exe程序。Hadoop都是运行在Linux系统下的,在windows下eclipse、Idea中运行mapreduce程序和操

duyenson的博客 1万+

特殊通信领域场景应用:基于Simulink的数字预失真(DPD)算法仿真建模示例

增益压缩:高功率输入时输出信号的增益下降。相位失真:输入信号的相位随功率变化而改变。带外干扰:非线性失真会引入额外的频谱分量,影响邻道信号。多项式模型:用多项式拟合功率放大器的非线性特性。查找表(LUT):通过离线训练生成预失真映射表。自适应算法:实时调整预失真参数以动态补偿失真。发送端:生成随机比特流并调制为射频信号。预失真模块:对输入信号进行预失真处理。功率放大器模块:模拟非线性失真。接收端:解调信号并评估误码率(BER)。

xiaoheshang_123的博客 273

YOLO系列算法改进 | Head改进篇 | 融合Detect_LSCD轻量共享卷积检测头 | 轻量化设计破解计算瓶颈,增强复杂场景目标感知能力

YOLO系列算法改进 | Head改进篇 | 融合Detect_LSCD轻量共享卷积检测头 | 轻量化设计破解计算瓶颈,增强复杂场景目标感知能力 (以YOLO26最新目标检测模型为基础,融合Detect_LSCD检测头进行改进)

2502_91881744的博客 704

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 快速解决

报错信息: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:382) at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:397) at org.apache.hadoop

冯菜菜的博客 7338

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Idea中开发spark程序(win10), Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

big data tools

Code_LT的博客 991

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【Spark学习】报错Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 20/04/26 00:45:36 INFO SparkContext: Running Spark version 2.4.4 20/04/26 00:45:36 ERROR Shell: Failed to locate the win...

xiexianyou666的博客 905

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

错误Could not locate executable null\bin\winutils.exe in the Hadoop binaries的解决方案(带hadoop下载地址)

问题描述: Windows IDEA在进行spark 开发的时候,运行报错 Could not locate executable null\bin\winutils.exe in the Hadoop binaries (注:这个错误一般不用管,但是如果SparkSession 要enableHiveSupport(),则必须解决,否则运行会报错)   解决步骤: 步骤一、下载Win...

微步的博客 2797

spark本地项目报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

spark本地项目报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries. idea本地运行spark程序是报错 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(She

weixin_36815898的博客 1949

windows 搭建hadoop 开发环境 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

"C:\Program Files\Java\jdk1.8.0_251\bin\java.exe" "-javaagent:E:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.3.3\lib\idea_rt.jar=61679:E:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.3.3\bin" -Dfile.encoding=UTF-8 -classpat

fanchw的专栏 450

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries

在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下,在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 ...

dengwan3818的博客 146
上一篇: 在B站更新BV标识后,如何查看视频原AV号?
下一篇: Java虚拟机(一)——虚拟机概述
稷下学员
稷下学员 中国电信Java开发工程师 中国电信Java开发工程师
博客等级 码龄9年 4782粉丝 87原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

稷下学员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值