概述
本文记录windows下hadoop本地开发环境的搭建:
OS:windows
hadoop运行模式:独立模式
安装包结构:
Hadoop-2.6.0-Windows.zip
- cygwinInstall // cygwin离线安装包
- hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包
PS:
hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz,并为windows单机测试而自定义的包,改动如下:
1. 在bin目录下,添加了hadoop.dll和winutils.exe
2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源码第558行
*由于源码有改动,此包不能用于生产环境,只限于windows环境下的开发测试
1. 安装cygwin
- 双击cygwinInstall下的setup-x86_64.exe
选择从本地安装
选择安装位置
选择本地安装文件位置