windows下搭建hadoop-2.6.0本地idea开发环境

本文详细介绍了在Windows环境下如何使用Cygwin搭建Hadoop 2.6.0的本地开发环境,包括安装Cygwin、配置Hadoop环境变量以及IDEA中的开发环境配置。通过验证hadoop版本和运行MapReduce示例代码,确保环境正确无误。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

概述

本文记录windows下hadoop本地开发环境的搭建:

OS:windows
hadoop运行模式:独立模式

安装包结构:

Hadoop-2.6.0-Windows.zip
    - cygwinInstall // cygwin离线安装包
    - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包

PS:

hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz,并为windows单机测试而自定义的包,改动如下:
1. 在bin目录下,添加了hadoop.dll和winutils.exe
2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源码第558行

*由于源码有改动,此包不能用于生产环境,只限于windows环境下的开发测试

1. 安装cygwin

  1. 双击cygwinInstall下的setup-x86_64.exe
  2. 选择从本地安装

  3. 选择安装位置

  4. 选择本地安装文件位置

windows上eclipse运行hadoop程序报NullPointerException错 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. Exception in thread "main" java.lang.NullPointerException     at java.lang.ProcessBuilder.start(ProcessBuilder.java:1010)     at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)     at org.apache.hadoop.util.Shell.run(Shell.java:455)     at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)     at org.apache.hadoop.util.Shell.execCommand(Shell.java:808)     at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)     at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:656)     at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:444)     at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:293)     at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)     at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:437)     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)     at java.security.AccessController.doPrivileged(Native Method)     at javax.security.auth.Subject.doAs(Subject.java:415)     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)     at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)     at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)     at com.lxz.mr.WCApp.main(WCApp.java:27) 原因是hadoop.dll文件和winutils.exe文件缺失了。解决步骤为: 1,下载这两个文件,下载地址:https://download.csdn.net/download/luxiangzhou/10635946 2,解压之后,把hadoop.dll拷贝到C:\Windows\System32下面 3,创建环境变量HADOOP_HOME,然后把winutils.exe文件拷贝到${HADOOP_HOME}/bin目录下
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值