关于Window下使用hadoop遇到的坑

最新推荐文章于 2022-05-25 16:12:13 发布
原创 最新推荐文章于 2022-05-25 16:12:13 发布 · 235 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在Windows环境下，Hadoop调用JAVA_HOME变量时出现的问题，尤其是在使用spark保存dataFrame数据到本地时遇到的错误。文章推荐将JAVA_HOME环境变量的地址修改为不含空格的路径，如C:PROGRA~1Javajdk1.8.0_131，以避免由ProgramFiles含空格导致的错误。

window下配置的JAVA_HOME本身使用没有问题，但是用hadoop调用JAVA_HOME这个变量就会在一些特定的场景会出错（Program Files含空格），建议环境变量的地址修改为

推荐：C:\PROGRA~1\Java\jdk1.8.0_131
C:\Program Files\Java\jdk1.8.0_131

遇到场景

使用spark保存dataFrame数据到本地，报一堆莫名其妙的错误，当然，也提示了hadoop方面的错误

验证手段

java -version 正常
hadoop version报JAVA_HOME不正确的设置
Windows10环境下安装Hadoop3.0.0--踩的坑
IRENE优快云的博客
04-14 2017
Windows10环境下安装Hadoop3.0.0–踩的坑： 安装教程参照其他大佬的： https://blog.youkuaiyun.com/songhaifengshuaige/article/details/79575308 https://blog.youkuaiyun.com/OdysLL/article/details/80593736?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearn
windows下hadoop对lzo的支持
sky1417168的博客
10-29 1111
windows下hadoop对lzo的支持 背景 下半年学习大数据，首当其冲，先学习了hadoop 学习hadoop的过程可谓是艰难重重 其中最麻烦的就是本地调式，写代码总会有bug，在网上也找到一些windows下安装hadoop的方法，也有效，能够成功在windows下运行 map-reduce程序，很好的帮助我调试代码 但是，我前段时间遇到了lzo，它从hadoop的压缩库里移除了，虽然在线上，只要linux系统配置好了lzo，你测试没问题，但是本地单机模式 测试的时候，根本跑不起来，因为不支持！！！
windows下编写hadoop客户端遇到的坑
weixin_42190010的博客
04-30 330
发现一个坑： 用windows编写hadoop客户端时上传文件没问题，下载文件的时候报错，显示HADOOP_HOME问题。 解决方法： 需要在windows下解压一个hadoop的二进制文件(需要用管理员权限解压)，再下载对应版本(版本号的前两位数对应即可)的winutils https://github.com/steveloughran/winutils 将winutils的bin目录替换...
Windows上安装运行Hadoop 最细最全 过坑 值得收藏 ！！！
养乐多要吸管
09-29 574
Windows上安装运行Hadoop 最细最全 过坑 值得收藏 ！！！ Windows上安装运行Hadoop 最细最全 过坑 值得收藏 ！！！ Windows上安装运行Hadoop 最细最全 过坑 值得收藏 ！！！ 1.下载安装JDK 并设置JAVA_HOME。一般在 c:\Program Files 路径下 JDK安装教程：https://jingyan.baidu.com/article/1709ad805318544635c4f042.html 2.下载hadoop 下载地.
在Windows下安装Hadoop遇到的几个问题
exd637df
01-20 243
在Windows下安装Hadoop遇到的几个问题 2010年12月01日 　　Hdoop的荐部署环境是linux，但是我们想要在windows体验一下还是可以的，尤其是对我这样不是经常使用Linux系统的人。Windows下安装配置Hadoop的教程还是挺多的，这里可以下载。 　　下面我说说安装配置过程中遇到的一些问题吧，给自己以后提供借鉴。 　　我的操作系统是Windows 7...
windows下的Eclipse连接虚拟机中的hadoop，操作过程中报节点无法识别问题解决
静待花开
11-23 2155
在windows下用Eclipse连接虚拟机中linux下的hadoop时，当在java代码中指明：“节点名：9000”之类时，如果报无法识别节点的异常 在排除hadoop未启动等低级错误后，最有可能的一种错误是window的hosts文件未添加该节点名对应的IP。 hosts文件所在目录目录：C:\Windows\System32\drivers\etc
Windows下开发Hadoop程序遇到的坑及解决方案
Zhengw博客专栏
08-31 9215
背景 过几天工作需要用到Hadoop，于是就弄了本PDF看。看了半天也是晕晕乎乎的。干脆直接动手，这样还能掌握的快一点。于是我就在本地要搭建一个Hadoop的开发环境。 环境前提 1、Hadoop部署在测试服务器上。 2、开发人员在Windows上使用eclipse进行开发。（即运行和开发环境是分开的） 3、环境参数 Linux：CentOS release 6.7 (Fina
window下spark与hadoop安装
最新发布
06-04
考虑到Windows并非Hadoop/Spark的原生支持平台，他们可能会遇到路径权限、环境变量等特殊问题，需要特别强调这些坑。让我梳理几个关键点：1.JDK是首要前提，引用[3]提到需要配置hadoop-env.cmd中的JAVA_HOME，说明...
Windows10系统下Hadoop和Hive开发环境搭建填坑指南
m0_67698950的博客
05-25 1261
前提# 笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。 环境准备# 基于笔者的软件版本洁癖，所有选用的组件都会使用当前（2020-10-30）最高的版本。 下面列举部分组件对应的下载地址： Apache Hadoop
windows10中安装hadoop过程中遇到的一些问题
qq_59281438的博客
04-05 2239
由于课程需要，又不想在Ubuntu里安装hadoop，所以在选择在Windows里安装hadoop，这里简要说一下我遇到的坑。 1、关于winutils: 除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库, 下载地址: https://github.com/steveloughran/winutils 注意比如你hadoop下载的是3.0.0版本, 那么这个类库你也要用3.0.0的. 下载完了把里面所有的.dll等文件和winutils.exe都覆盖到hadoop-
hadoop本地库与系统版本不一致引起的错误解决方法
热门推荐
东杰书屋
04-25 3万+
部署hadoop的集群环境为   操作系统 centos 5.8     hadoop版本为cloudera   hadoop-0.20.2-cdh3u3 集群中设置支持gzip lzo压缩后，在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库，本地库的默认位置在 $HADOOP_HOME/lib/native/Linux-amd64-64   (64位操作系统)
windows 下在idea中用java访问hadoop的环境配置
HZRun的博客
03-25 1086
1、下载hadoop并设置环境变量 HADOOP_HOME=F:\path_to\hadoop 在Path环境变量后追加 ;%HADOOP_HOME%\bin 2、下载winutil，并把winutils.exe和hadoop.dll文件复制到bin目录下 3、在idea中新建一个项目，导入hadoop包 步骤：右键项目名称->open moudle setting->点击右...
Windows下在Hadoop上运行Java程序报错
酱油先生的博客
04-25 1196
问题1：Windows上hadoop的安装 在WINDOWS环境下使用Java运行远程虚拟机中的Hadoop集群报错，虚拟机系统是centos 6.7，运行程序报错如下图，抛出异常，并给了一个wiki的链接，https://wiki.apache.org/hadoop/WindowsProblems 解决方法： 按链接点进去，可以看到下图所示，大意就是Windows上要装上hadoop，...
运行spark及hadoop版本不一致解决方法
weixin_37979944的博客
12-05 1万+
版本问题解决方法
windows下JAVA开发操作hadoop的方法
a2615381的专栏
04-05 1079
先说一下具体情况， hadoop版本2.4X  本地使用的  eclipse 开发，操作虚拟机中的hadoop系统 package cn.itcast.hadoop.hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.ap
HadoopClient windows 下小坑记
weixin_34205826的博客
11-26 316
为什么80%的码农都做不了架构师？>>> ...
解决安装Hadoop后cmd下使用命令“hadoop version “找不到或无法加载主类的问题
qq_39540537的博客
07-21 2万+
在安装hadoop时首先要确认Java以安装,并且在系统环境变量中为你的jdk设置路径。 安装Java及配置jdk的过程就不详细解释了,Win+R打开cmd输入java -version如果出现错误说明上述过程存在问题,找教程解决就行了。 下载好hadoop后,进入hadoop下载目录下的bin文件夹,在目录窗口输入cmd从而进入当前目录 尝试输入hadoop version来检查hadoop是否可用,如果提示系统找不到指定的路径。则说明需要重新设置jdk的路径,进入到bin目录下的上级目录,
Windows环境下使用hadooponwindows工具包部署Hadoop
这一过程使得用户能够在不使用Cygwin这类兼容性层的情况下，在Windows平台上直接运行Hadoop，从而支持大数据分析任务。下面将详细说明这些知识点。 首先，Hadoop是一个开源的分布式存储和计算框架，最初由Apache...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值