windows下搭建hadoop-2.6.0本地idea开发环境

最新推荐文章于 2025-06-25 10:23:26 发布
最新推荐文章于 2025-06-25 10:23:26 发布
阅读量8k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop windows cygwin idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/apexlj/article/details/47808765
本文详细介绍了在Windows环境下如何使用Cygwin搭建Hadoop 2.6.0的本地开发环境，包括安装Cygwin、配置Hadoop环境变量以及IDEA中的开发环境配置。通过验证hadoop版本和运行MapReduce示例代码，确保环境正确无误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

概述

本文记录windows下hadoop本地开发环境的搭建：

OS：windows
hadoop运行模式：独立模式

安装包结构：

Hadoop-2.6.0-Windows.zip
    - cygwinInstall // cygwin离线安装包
    - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包

PS:

hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz，并为windows单机测试而自定义的包，改动如下：
1. 在bin目录下，添加了hadoop.dll和winutils.exe
2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源码第558行

*由于源码有改动，此包不能用于生产环境，只限于windows环境下的开发测试

1. 安装cygwin

  1. 双击cygwinInstall下的setup-x86_64.exe

  2. 选择从本地安装

  3. 选择安装位置

  4. 选择本地安装文件位置

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hadoop--Hdfs
Alano1994的博客
03-17 441
Big Data 大数据 1. 数据采集（多个数据源） 2. 数据存储（分布式存储） 3. 数据分析（并行计算） Hadoop **apache软件基金会的开源项目 提供了大数据集的存储和大数据集的并行计算模型** Apache Hadoop（http://hadoop.apache.org/）是⼀一款框架，允许使⽤用简单的编程模 型跨计算机集群分布式处理理⼤大型数据集。Hadoop开源免费...
Hadoop2.6.0版本windows环境搭建
01-23
cdh-hadoop版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0.tar.gz
hadoop-2.6.0 windows版本
10-13
windows 可用 hadoop2.6.0版本，解压后、配置环境变量即可使用。注意：hadoop-env.cmd是1.8的，记得修改第26行的JAVA_HOME 如下： set JAVA_HOME=C:\\Progra~1\Java\jdk1.8.0_172 如果JDK安装在C盘Program Files下面，请用Progra~1替代
Hadoop-2.6.4 Windows版本基础环境配置指南
最新发布
weixin_35755823的博客
06-25 246
Apache Hadoop是一个由Apache软件基金会开发的开源框架，它允许使用简单的编程模型在跨计算机集群存储和处理大数据集。Hadoop的诞生源自于Google在2003年和2004年发表的两篇论文，分别是关于其分布式文件系统（GFS）和MapReduce编程模型的。为了处理大规模数据，Hadoop的设计理念是“容错、高可用性、高可伸缩性”，以及可以运行在廉价的硬件设备上。在Hadoop-2.6.0版本中，bin目录通常包含以下主要组件：hadoop。
Windows Hadoop 2.6.0编译安装
程序猿进化史
10-12 1085
本文主要参考这篇文档 Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS 美中不足的是没有给出遇到的问题的解决方案，我就班门弄斧，狗尾续貂。 以下是我的编译过程，我所遇到的坑。因为没有截图，所以我尽量详细。 软件环境: Hadoop 源码 Cygwin Visual studio 2010（
hadoop-2.6.0-hadoop.dll-winutils.exe
08-30
windows上eclipse运行hadoop程序报NullPointerException错 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. Exception in thread "main" java.lang.NullPointerException     at java.lang.ProcessBuilder.start(ProcessBuilder.java:1010)     at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)     at org.apache.hadoop.util.Shell.run(Shell.java:455)     at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)     at org.apache.hadoop.util.Shell.execCommand(Shell.java:808)     at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)     at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:656)     at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:444)     at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:293)     at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)     at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:437)     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)     at java.security.AccessController.doPrivileged(Native Method)     at javax.security.auth.Subject.doAs(Subject.java:415)     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)     at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)     at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)     at com.lxz.mr.WCApp.main(WCApp.java:27) 原因是hadoop.dll文件和winutils.exe文件缺失了。解决步骤为： 1，下载这两个文件，下载地址：https://download.csdn.net/download/luxiangzhou/10635946 2，解压之后，把hadoop.dll拷贝到C:\Windows\System32下面 3，创建环境变量HADOOP_HOME，然后把winutils.exe文件拷贝到${HADOOP_HOME}/bin目录下
hadoop-2.6.0 windows版本，bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin
03-28
hadoop-2.6.0 windows版本，bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin
Windows 10下Hadoop开发环境搭建指南
在探讨如何在Windows 10环境下通过IntelliJ IDEA搭建Hadoop开发环境之前，首先要了解Hadoop是什么以及它的相关组件和生态系统。Hadoop是一个由Apache基金会开发的开源框架，它支持数据密集型分布式应用，使得应用...
hadoop-train
12-19
2. **Hadoop安装与配置**：了解如何搭建Hadoop环境，配置集群，以及解决常见的部署问题。 3. **MapReduce编程模型**：学习如何编写Map和Reduce函数，理解分片（split）和分区（partition）的概念，以及中间键值对的...
hadoop2.6---windows下开发环境搭建
weixin_30509393的博客
09-17 92
一、准备插件 　　1、自己编译 　　　　　1.1 安装Ant 官网下载Ant，apache-ant-1.9.6-bin.zip 配置环境变量，新建ANT_HOME，值是E:\apache-ant-1.9.6；PATH后面追加";%ANT_HOME%\bin" 测试，ant -version 　　　　　1.2 下载hadoop2.6.0 　　　　　　　http://hadoop...
windows下搭建hadoop开发环境
07-06
windows下通过eclipse直接访问hdfs或者调试mapreduce程序需要用到的完整环境
hadoop-2.6.0 Window客户端
05-08
hadoop-2.6.0 Window客户端，解压到目录，设置环境变量即可使用。java调用实例：// windows环境下需要配置Hadoop的客户端 System.setProperty("hadoop.home.dir", "E:/hadoop-2.6.0/"); conf = new Configuration(); fs = FileSystem.get(new URI("hdfs://192.168.1.222:8020"), conf, "hdfs");
hadoop-common-2.6.0-bin windows需要的运行库
07-02
压缩包包括适用于hadoop2.6.0的三个版本的hadoop.dll和winutils.exe 1. 若运行winutils.exe，提示缺失vcruntime140.dll，可执行vc_redist.x64.exe，确保winutils.exe运行无异常。 2. 三个压缩包，推荐使用hadoop-common-2.6.0-bin-master.zip，若有异常，可尝试替换为其他两个版本的hadoop.dll和winutils.exe
Hadoop IDEA 本地调试MR 包含文档和所有的资源
11-06
IDEA 本地调试Hadoop 和MR，所有的资源和说明文档，绝对正确。
Hadoop2.6.0在Win7下的配置
星火的专栏
05-19 2995
core-site.xml fs.default.name hdfs://192.168.0.141:9000 hadoop.tmp.dir file:///g:/hadoop/hadoop_tmp hdfs-site.xml dfs.namenode.name.dir file:///g:/hadoop/dfs/name d
win10 IDEA 链接远程hadoop 2.6 集群
machen990519的博客
03-27 916
win10  准备:1。下载 hadoop2.6-CDH5.7.5 解压         //重要说明：CDH 和  普通版本不一样2。下载 winutils .exe ( hadoop2.6-CDH5.7.5版本 )3    .将winutils.exe 放入  hadoop2.6/bin 中 ，同时添加环境变量，4    将登陆用户设置成英文名字，进入计算机管理界面，本地用户，用户，改成英文的...
eclipse连接hadoop2.6.0集群（免费下载jar：hadoop.dll + winutils.exe + hadoop-eclipse-plugin-2.6.0.jar）
qq_39130217的博客
03-18 4272
1、下载hadoop-2.6.0.tar.gz文件，解压；设置HADOOP_HOME和PATH；2、下载hadoop-eclipse-plugin-2.6.0.jar包，放到eclipse安装目录的dropins文件夹下；3、下载hadoop.dll、winutils.exe文件，放到hadoop2.6.0安装目的bin文件夹下；4、打开eclipse -> show view -> ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值