windows下搭建hadoop-2.6.0本地idea开发环境

最新推荐文章于 2018-03-27 16:31:44 发布

原创

最新推荐文章于 2018-03-27 16:31:44 发布 · 8.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #windows #cygwin #idea

本文详细介绍了在Windows环境下如何使用Cygwin搭建Hadoop 2.6.0的本地开发环境，包括安装Cygwin、配置Hadoop环境变量以及IDEA中的开发环境配置。通过验证hadoop版本和运行MapReduce示例代码，确保环境正确无误。

概述

本文记录windows下hadoop本地开发环境的搭建：

OS：windows
hadoop运行模式：独立模式

安装包结构：

Hadoop-2.6.0-Windows.zip
    - cygwinInstall // cygwin离线安装包
    - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包

PS:

hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz，并为windows单机测试而自定义的包，改动如下：
1. 在bin目录下，添加了hadoop.dll和winutils.exe
2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源码第558行

*由于源码有改动，此包不能用于生产环境，只限于windows环境下的开发测试