spark远程运行找不到winutils

解决Hadoop在Windows下的配置问题
最新推荐文章于 2024-04-18 02:17:56 发布
原创 最新推荐文章于 2024-04-18 02:17:56 发布 · 276 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在Windows系统中正确配置Hadoop环境变量，以避免常见的错误提示。通过下载对应版本的Hadoop并将其添加到系统环境变量中，可以确保Hadoop在Windows上正常运行。若仍遇到问题，文章还提供了额外的代码设置建议。

错误如下图所示：
在这里插入图片描述
下载呢对应hadoop版本的地址：
https://github.com/4ttty/winutils

改错：将hadoop添加进windows系统的环境变量

如果还是报错，记得添加这句代码：

System.setProperty("hadoop.home.dir","D:\\apps\\winutils-master\\hadoop-2.8.3")
在Windows上的安装 Spark
lengyudexin的博客
12-28 2096
安装Java 8或更高版本 要在windows上安装Apache Spark，你需要Java 8或最新的版本，因此从 Oracle 下载Java版本并安装在你的系统上。如果你想要OpenJDK，你可以从这里 下载.它。 下载后，双击下载的文件，以便在您的windows系统上安装它。选择任何自定义目录或保持默认位置。 注意：这是以Java 8上安装Apache Spark为例，同样的步骤也适用于Java 11和13版本。 Apache Spark在Windows上的安装 Apache Spark是以压缩的t
Win7下使用idea远程调试运行在虚拟机上spark-hadoop集群
qq_28453127的博客
08-03 1507
环境准备 1.已在虚拟机上上搭建好集群环境,jps显示正确。 2.idea已配置好scala插件 3.hadoop版本为2.6.5,spark版本为2.2.0,scala版本为2.11.0 开始配置 本人第一次配置环境时遇到了非常多的坑,最后采取建立scala项目而不是maven项目的方法解决(也许maven项目依旧可以运行) 1.idea新建scala项目,可以不选择scala ...
Spark/Hadoop开发缺失插件-winutils.exe
04-25
本地开发Spark/Hadoop报错“ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.” 缺少Hadoop插件winutils.exe所致。 两种解决方案： 1、下载该文件到D:\hadoop\bin下，并设置环境变量HADOOP_HOME：D:\hadoop； 2、下载该文件到D:\hadoop\bin下，并在代码中设置System.setProperty("hadoop.home.dir","D:\\hadoop")；
用于解决在本地跑spark程序时出的null/winutils.exe
09-26
spark在windows上local模式下的缺失winutils.exe异常 在写入临时文件后，执行shell命令时报错出现null command，由于没有配置hadoop在windows相关的winutils.exe命令文件，下载好该文件的后可以配置HADOOP_HOME环境变量 HADOOP_HOME=F:/hadoop-common-2.2.0-bin-master 或者在具体应用程序代码中最上方加入（我的是加入这个才有效，上面的无效） System.setProperty("hadoop.home.dir","F:/hadoop-common-2.2.0-bin-master" )
Spark在Windows下的环境搭建及pyspark的使用
m0_61831106的博客
01-03 3866
1、将Spark目录下的pyspark文件夹（D:\Spark\spark-2.2.0-bin-hadoop2.7\python\pyspark）复制到要使用的python环境的安装目录（E:\APP\python3.7.0\Lib\site-packages）里。最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。并且需要注意的是，在Spark的文件目录路径名中，不要出现空格和中文，类似于“Program Files”这样的文件夹名是不被允许的，我放的位置是D:\Spark。
Spark在Windows下使用Hadoop
qibuzhe0213的博客
11-29 2195
一、下载适用Linux系统的Hadoop安装包（*.tar.gz） 官网连接 选择需要的版本，此处以3.3.0为例 二、下载Hadoop的Windows版本的二进制文件 GitHub链接 注意事项：接下来使用时，应选择与第一步中Hadoop主版本号相同的（3.3.0 -> 3.0.0） 三、配置环境变量 注意事项： 1.Scala依赖JDK，需要先配置Java的环境变量 2.Windows系统在安装JDK时，默认的文件路径包含空格（D:\Program Files\），进行Java开发不会产生影响
为什么spark中远程连接找不到文件，虚拟机也登入不了
最新发布
04-24
另外，引用[2]提到Windows上配置Hadoop时找不到winutils.exe，虽然用户现在的问题是关于Spark和虚拟机登录，但可能环境变量配置不正确也会导致其他问题。需要确认Hadoop和Spark的环境变量在集群中的每个节点上正确...
IDEA 连接远程spark操作hive的操作和遇到的坑
qq_17734605的博客
07-21 7912
在搭建IDEA使用遇到了一些坑和解决了下面废话不多说，附上步骤 1.配置本地HADOOP_HOME 下载winutils的windows的版本， 地址：https://github.com/srccodes/hadoop-common-2.2.0-bin，直接下载此项目的zip包，下载后是文件名是hadoop-common-2.2.0-bin-master.zip,随便解压到一个目录 例如：...
在Windows环境下配置运行Spark所需文件步骤解析
需要注意的是，虽然winutils.exe和hadoop.dll能够在一定程度上解决Spark在Windows上的运行问题，但它们并不完全替代了在Linux上运行的Hadoop环境。在开发和生产环境中，还是推荐使用Linux系统，因为它是Hadoop以及...
(word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc
10-24
【描述】: "本文档详细介绍了在Windows系统下，不通过`submit`命令而是采用其他方式运行Spark应用程序在YARN上的方法，适用于CDH集群环境。" 【标签】: "互联网" 在Windows操作系统中，非Submit方式运行Spark on ...
winutils.exe：解决hadoop在windows运行出现的bug
07-24
如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：F:\hadoop2.2.0即可。
使用winutils.exe，在windows开发环境下，调试下调试hadoop、spark程序
热门推荐
RUIMENG061511332的博客
03-23 1万+
在使用idea开发，spark程序时，需要在开发环境模拟hadoop环境，不然，每次都要打jar去集群环境执行调试程序，严重影响开发效率。 winutils.exe是在Windows系统上需要的hadoop调试环境工具，里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类， 下面说下具体使用; 下载地址： https://download.youkuaiyun.com/d...
windows环境下安装spark，winutils.exe 报错
GameOverTryAgain的博客
05-14 3522
 安装hadoop winutils，下载链接https://github.com/steveloughran/winutils， 选择你要的hadoop版本号，比如2.8.1，你只需要下载winutils.exe，然后拷贝到C:\Hadoop\bin文件夹中。创建系统变量HADOOP_HOME，为C:\Hadoop，添加%HADOOP_HOME%\bin到PATH变量中 以管理员身份打开cmd，...
Win10 Spark&Scala
myepicure的专栏
06-25 685
Spark&Scala&IntelliJ
IDEA用spark时报错winutils.exe
mingix的博客
04-24 362
报错信息: Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 21/04/24 16:27:28 INFO SparkContext: Running Spark version 3.0.0 21/04/24 16:27:29 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOE
windows下spark环境搭建
Poor - Because you have no ambition
02-28 223
安装包 spark : http://spark.apache.org/downloads.html hadoop : http://hadoop.apache.org/releases.html jdk: http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html hadoop-commin : ht...
windows配置spark开发环境
chaney的博客
04-15 3144
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
win10搭建hadoop和spark
2401_83915900的博客
04-18 432
小编精心为大家准备了一手资料以上Java高级架构资料、源码、笔记、视频。Dubbo、Redis、设计模式、Netty、zookeeper、Spring cloud、分布式、高并发等架构技术【附】架构书籍BAT面试的20道高频数据库问题解析Java面试宝典Netty实战算法BATJ面试要点及Java架构师进阶资料《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！[外链图片转存中…(img-lDkptpCq-1713377863312)]
windows系统pyspark安装、测试
luxika23的博客
01-14 1084
4.将spark文件夹下的pyspark文件复制（我的路径D:\SPARK-HADOOP-WINUTILS\hadoop\spark-3.3.4-bin-hadoop3\python\pyspark）6.安装py4j（直接终端pip，我没有用conda，用conda的可以再找找）ps：如果上面第5步路径找不到，也可以先安装py4j然后找py4j的目录，然后复制过去也行。在相同的迭代次数下使用spark的粒子群计算耗时没有增加，但是求解结果分布更紧密，解集质量更高。2.下载hadoop安装包（清华镜像）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值