自己编译的win版本hadoop

最新推荐文章于 2023-11-29 10:43:35 发布
原创 最新推荐文章于 2023-11-29 10:43:35 发布 · 687 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分享了在Windows 7 64位系统上使用Java 1.7.0_65和cygwin 2.850 64位环境下编译安装Hadoop 2.5.0的过程及注意事项。文章提供了编译好的Hadoop版本下载链接，并指导如何配置环境变量以及启动Hadoop服务。

自己编译的windows版本hadoop

http://pan.baidu.com/s/1c0EOedU

密码：nbpd

hadoop2.5.0

java1.7.0_65

win7 64位

cygwin2.850 64bit

默认配置的hdfs在\hadoop\data中，如cmd cd到d盘，则路径为d:\\hadoop\\data中

配置好bin,sbin到path中，先start-dfs.cmd，再start-yarn.cmd

http://localhost:8042 或者 http://localhost:50070 

win10 Hadoop 3.4.0编译
柔情岁月的博客
05-29 941
参考编译文档： JDK 1.8 安装 jdk1.8下载地址 安装完后配置环境变量： 1）开始–》 右键此电脑–》更多–》属性–》高级系统设置–》环境变量 在系统变量框下点击：新建 变量名：JAVA_HOME 变量值：C:\Program Files\Java\jdk1.8.0_144（这个值根据你安装的目录设置你的实际值） 2）在系统变量中找到Path变量，然后点击编辑–》新建： 填入：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin 3）验证： Maven安装 1）下载
win10 64系统下编译hadoop3.2.2源码
weixin_37807151的博客
02-07 1335
我是新手第一次编译hadoop源码，期间遇见了许多的坑，网上不少文章给予了我极大帮助，其中这篇文章Hadoop 3.2.1 win10 64位系统 vs2015 编译 - 一字千金 - 博客园给予的帮助是最大的。这篇文章可以说是手把手的讲解了win10 64位系统下编译hadoop的整个过程，不过由于我是新手，在编译的期间还是踩了一些新手会踩的坑，现总结如下： 1、jdk的版本最好选择1.8版。开始不明白为什么网上的相关文章用的都是1.8版，明明有着新版，却放着不用，最后在编译的过程中才发现hadoop的
windows下缺少windutils.exe和hadoop.dll的解决方法
weixin_43800761的博客
06-19 5503
windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行)，hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。 1、到githup找到相应版本的文件，如本文使用的是3.1.2   下载winutils和hadoop.dll：https://github.com/ordinaryload/Hadoop-tools 2、解压下载的文件，放到$HADOOP_HOME\bin下面 3、拷贝hadoop.dll文件到C:\Windows\System32
win10下编译Apache版本hadoop2.10.0，附资源
qq_39886984的博客
03-31 1973
今天是三月尾巴了，然后博文还没打卡，今天临时编译了一下hadoop在window上的环境包，至于版本就不要纠结了，比如问为啥不用hadoop2.6或者hadoop3版本而用2.10.0版本。集群都搭好了，总不能改集群吧，之所以Windows环境也改成对应版本也是为了调试，出错也好查些，废话少说，进入正题。 1.环境准备。 这里部分是从这位可爱的网友Zeus借鉴来的，先行者的肩膀。 https://...
Windows11编译Hadoop3.3.6源码
feishuoren的博客
11-29 2527
由于还未发布3.3.6版本winutils，因此尝试源码编译。
win10编译hadoop3.2.1
都是浮云
05-28 3199
概述 搞大数据，hadoop是核心组件，因为开源，并且体现庞杂，难免遇到一些坑，在遇到问题的时候很多情况下就需要来翻源码，如果有bug还得改改bug然后重新编译。所以在windows上编译hadoop还是需要弄一下的。hadoop不像一般的那些java小项目，maven编译命令一跑，就把源码给你编译成jar包了。hadoop里面依赖的东西比较多，所以在windows下编码相对来说还是比较麻烦的。 hadoop源码根目录有一个BUILDING.txt文件，里面有各个平台的编译指引，windows下的编译指引是
win10编译hadoop2.9.2
shanghome的专栏
12-06 902
编译介绍： win10系统 Hadoop2.9.2源码 vs2015 编译之前的各种工具的下载，在最后的连接中有。 编译成功之后的jar包，也在最后的连接中。 编译过程中的各种配置环境变量，网上一搜一大堆，不在此描述。 遇到的错误，查看网友的博客差不多都会遇到，下面是两个记录错误的博客： https://blog.csd...
Mac 下编译 Hadoop
leone的博客
05-11 2217
Mac 下编译 Hadoop-2.9.2 系统环境 系统： Mac OS_10.14.4 maven： Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer： portoc-2.5.0 zlib： 1.2.3-lib OpenSSL： 1_0_2r cmale： 3.14.3-win64-x64 Cygwin： 2.897_x86_64 hado...
Win7下编译hadoop
weixin_43827951的博客
05-18 801
Win7下编译hadoop 一、解压源码 Hadoop2.7.7 源码下载：hadoop-2.7.7-src.tar.gz源码下载 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7-src.tar.gz 这里解压到了D:\cygwin64，并且重命名，D:\cygwin64\had...
win10下编译过的hadoop jar包--hadoop-2.7.2.zip
05-13
总的来说，Hadoop 2.7.2在Win10上的编译和运行，不仅提供了在本地环境中学习和测试Hadoop的机会，也让你有机会深入理解分布式系统的工作原理和大数据处理的基本流程。这是一项对任何希望在大数据领域发展的IT专业...
win 7 64上编译 Hadoop 2.7.3 源码
05-07
### Win 7 64位系统上编译Hadoop 2.7.3源码的知识点 #### 一、背景介绍 在当前大数据处理技术快速发展的背景下，Hadoop作为主流的大数据处理框架之一，被广泛应用于各类场景之中。对于开发者来说，能够熟练地在自己...
win7下编译过的hadoop jar包--hadoop-2.7.2.zip
05-24
2. **下载Hadoop**：这个压缩包包含了编译好的Hadoop 2.7.2版本，解压到一个合适的目录，例如`C:\hadoop`。 3. **配置环境变量**：将Hadoop的bin目录添加到系统的`PATH`环境变量中，以便于在命令行中直接运行Hadoop...
win7下编译过的hadoop2.7.2
09-14
但是，通过一些特定的步骤，可以在Windows系统上编译和使用Hadoop，而提供的“win7下编译过的hadoop2.7.2”文件正是为了简化这一过程。 首先，我们来看一下Hadoop在Windows上的编译步骤。在Windows 7环境下编译...
win10编译过的hadoo2.6.4包括hadoop.dll和winutils.exe
11-10
Hadoop 2.6.4的亮点在于其YARN（Yet Another Resource Negotiator）资源管理器，这是一个全新的资源管理系统，旨在解决早期Hadoop版本中MapReduce的局限性。YARN将JobTracker的功能拆分为Resource Manager和...
【微信小程序源码】小程序官方Demo.zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041
体育赛事摘要数据集构建与自然语言处理技术应用_基于人工标注的大规模体育赛事评论文本与新闻文本摘要数据集SGSum_提供高质量训练集验证集测试集用于学术研究支持文本摘要模型开发与评估.zip
最新发布
09-06
体育赛事摘要数据集构建与自然语言处理技术应用_基于人工标注的大规模体育赛事评论文本与新闻文本摘要数据集SGSum_提供高质量训练集验证集测试集用于学术研究支持文本摘要模型开发与评估.zip
【微信小程序源码】医疗床位查询小程序.zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041
bedrock-core-7.0.4.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
【微信小程序源码】艺术.zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041
Win7环境下成功编译Hadoop2.7.2的bin目录分享
4. **编译源码**：在shell中执行一系列命令，如`mvn package`或`ant`（取决于Hadoop版本，有些版本的Hadoop使用Maven作为构建工具，有的则使用Apache Ant），来编译源码。 5. **编译结果验证**：编译完成后，需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值