<think>
嗯，用户现在明确需要Windows系统上
安装Hadoop-3.3.6的教程。从对话历史看，用户之前接触过Linux
安装的引用，但这次需求完全不同。用户可能是个刚接触大数据的学生或开发者，正在搭建本地开发环境。ta特意强调"Windows系统"，说明对操作平台有硬性要求。
注意到用户引用的两条站内内容都是Linux相关的：第一条是配置环境变量，第二条涉及编译
安装。这些对Windows基本不适用，需要完全不同的方案。Windows
安装Hadoop有几个关键技术点必须解决：首先是依赖的Winutils组件，其次是环境变量设置方式（PowerShell与Linux不同），还有可能遇到的路径格式问题。
用户提供的文件名hadoop-3.3.6.tar.gz暗示ta已经下载好
安装包，所以重点应该放在解压后的配置环节。考虑到Windows用户的习惯，需要特别强调图形界面操作步骤（比如编辑配置文件用记事本++），但也要准备命令行操作的替代方案。
关于兼容性问题，补充说明两点：一是Hadoop官方对Windows支持有限，二是测试
时最好用WSL作为备选方案。用户如果遇到权限错误，八成是Winutils没配置好，这个要重点预警。
</think>
好的，虽然提供的引用是关于Linux的，但Hadoop 3.3.6 在Windows系统上的
安装也是可行的，不过步骤比Linux更复杂，主要需要额外的支持组件。以下是详细的
安装步骤：
**Windows系统
安装 Hadoop 3.3.6 指南**
**核心依赖：**
1. **Java JDK：** Hadoop 需要 Java 运行环境。推荐
安装 **JDK 8** 或 **JDK 11**。请下载并
安装对应你系统位数的 **
Oracle JDK** 或 **OpenJDK**（如 AdoptOpenJDK, Amazon Corretto）。
* `JAVA_HOME` 环境变量必须正确设置。例如，如果你的JDK
安装在 `C:\Java\jdk-11`，则：
```powershell
setx JAVA_HOME "C:\Java\jdk-11" /M
```
* 添加 `%JAVA_HOME%\bin` 到系统的 `Path` 环境变量。
2. **Winutils：** 这是Hadoop在Windows上运行所需的关键组件，包含Hadoop命令行工具（如 `hadoop`, `hdfs`）的Windows可执行文件及其依赖库（`hadoop.dll`, `winutils.exe` 等）。Hadoop官方发行版不包含Windows版本的二进制文件。
* **获取方式：** 你需要下载或自行编译对应 Hadoop 版本（3.3.6）的 Winutils。
* **推荐下载点：**
* `steveloughran` 的 GitHub Releases：`https://github.com/steveloughran/winutils` (包含常用版本编译好的二进制文件)。
* `cdarlint` 的 GitHub Releases：`https://github.com/cdarlint/winutils` (同样提供常用版本)。
* 下载后，找到对应 `hadoop-3.3.6` 的 `bin` 目录（里面应包含 `hadoop.dll`, `winutils.exe` 等文件）。
* **
安装：**
1. 将下载的 `hadoop-3.3.6` 目录（或至少其 `bin` 目录）放置到你系统的某个位置，例如 `C:\hadoop-winutils`。
2. 设置 `HADOOP_HOME` 环境变量指向这个目录：
```powershell
setx HADOOP_HOME "C:\hadoop-winutils" /M
```
3. 将 `%HADOOP_HOME%\bin` 添加到系统的 `Path` 环境变量中。
4. 将 `hadoop.dll` 复制到 `C:\Windows\System32` 目录下（或任何在系统 `PATH` 中的目录）。这一步非常重要，否则运行
时会报错。
3. **Hadoop
安装包：** 下载 `hadoop-3.3.6.tar.gz`。
* 官方镜像：`https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/`
* 解压下载的 `hadoop-3.3.6.tar.gz` 文件到一个没有空格和特殊字符的路径，例如 `C:\hadoop-3.3.6`。这个目录我们称为 `$HADOOP_DIST`。
**配置 Hadoop**
1. **编辑 `hadoop-env.cmd` (Windows 版本)：**
* 进入 `$HADOOP_DIST\etc\hadoop` 目录。
* 打开 `hadoop-env.cmd`（这是Windows上的主环境脚本，Linux上是 `.sh`）。
* 找到并设置 `JAVA_HOME`，确保它指向你的JDK
安装路径：
```batch
set JAVA_HOME=C:\Java\jdk-11 REM 修改为你的实际JDK路径
```
* *(可选但推荐)* 设置 `HADOOP_HOME`，指向你放置 `winutils` 的目录（这与系统环境变量 `HADOOP_HOME` 是同一个值）：
```batch
set HADOOP_HOME=C:\hadoop-winutils REM 修改为你的实际winutils路径
```
*注意：`$HADOOP_DIST` 是你的 Hadoop 解压目录，`%HADOOP_HOME%` 应指向包含 `winutils` 的目录。有
时人们会将 `%HADOOP_HOME%` 设置为 Hadoop 解压目录并将 `winutils` 的 `bin` 覆盖进去，但分开设置更清晰。*
2. **配置核心站点(`core-site.xml`)：**
* 编辑 `$HADOOP_DIST\etc\hadoop\core-site.xml`。
* 添加以下配置，指定 HDFS 的默认文件系统 URI 和 Hadoop 临
时目录：
```xml
<configuration>
<!-- 指定 HDFS 的地址和端口 (NameNode) -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定 Hadoop 临
时目录 (确保该目录存在且权限正确) -->
<property>
<name>hadoop.tmp.dir</name>
<value>/C:/hadoop_data/tmp</value> <!-- 修改为你的实际有效路径，使用正斜杠 -->
</property>
</configuration>
```
3. **配置 HDFS(`hdfs-site.xml`)：**
* 编辑 `$HADOOP_DIST\etc\hadoop\hdfs-site.xml`。
* 添加以下配置，设置 NameNode 和 DataNode 的数据存储目录（副本数设为1因为是单机）：
```xml
<configuration>
<!-- NameNode 数据存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/C:/hadoop_data/namenode</value> <!-- 修改为你的实际有效路径，使用正斜杠 -->
</property>
<!-- DataNode 数据存储目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/C:/hadoop_data/datanode</value> <!-- 修改为你的实际有效路径，使用正斜杠 -->
</property>
<!-- 因为单机模式，副本数设置为1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
4. **配置 YARN(`yarn-site.xml`) (如果需要运行 MapReduce)：**
* 编辑 `$HADOOP_DIST\etc\hadoop\yarn-site.xml`。
* 添加以下配置：
```xml
<configuration>
<!-- 指定 YARN 的资源管理器地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<!-- 指定 NodeManager 获取数据的方式为 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 MapReduce 使用 YARN -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
```
5. **配置 MapReduce(`mapred-site.xml`) (如果需要运行 MapReduce)：**
* 编辑 `$HADOOP_DIST\etc\hadoop\mapred-site.xml`。
* 添加以下配置，指定 MapReduce 框架使用 YARN：
```xml
<configuration>
<!-- 指定 MapReduce 运行在 YARN 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
**格式化 HDFS (NameNode)**
* **重要：** 这一步在首次
安装时必须执行，它会初始化 NameNode 的元数据存储目录（在 `dfs.namenode.name.dir` 中指定）。
* 使用管理员权限打开 **命令提示符(cmd.exe)** 或 **Windows PowerShell**。
* 执行命令：
```batch
cd %HADOOP_DIST%\bin
hdfs namenode -format
```
* 看到 `successfully formatted` 或类似成功信息表示格式化完成。**切勿在集群运行后随意格式化，会导致数据丢失！**
**启动 Hadoop 服务**
1. **启动 HDFS：**
* 打开一个新的 **管理员命令提示符/PowerShell** 窗口。
* 切换到 `$HADOOP_DIST\sbin` 目录。
* 启动 NameNode 和 DataNode：
```batch
start-dfs.cmd
```
2. **启动 YARN (如果需要运行 MapReduce)：**
* 打开另一个 **管理员命令提示符/PowerShell** 窗口。
* 切换到 `$HADOOP_DIST\sbin` 目录。
* 启动 ResourceManager 和 NodeManager：
```batch
start-yarn.cmd
```
**验证
安装**
1. **检查进程：**
* 在任务管理器中查看是否有 `java` 进程运行着 `NameNode`, `DataNode`, `ResourceManager`, `NodeManager` 等。
2. **访问 Web UI：**
* **NameNode UI:** 打开浏览器访问 `http://localhost:9870`。这里显示 HDFS 的状态、存储信息等。
* **ResourceManager UI (如果启动了 YARN):** 打开浏览器访问 `http://localhost:8088`。这里显示 YARN 集群的资源使用情况和运行的应用程序。
3. **基本 HDFS 命令测试：**
* 打开一个新的命令提示符/PowerShell。
* 创建一个目录：
```batch
hdfs dfs -mkdir /test
```
* 上传一个本地文件到 HDFS：
```batch
hdfs dfs -put C:\path\to\your\localfile.txt /test/
```
* 列出 `/test` 目录的内容：
```batch
hdfs dfs -ls /test
```
* 查看文件内容：
```batch
hdfs dfs -cat /test/localfile.txt
```
4. **运行示例 MapReduce 作业 (如果启动了 YARN):**
* 切换到 `$HADOOP_DIST` 目录。
* 运行计算 Pi 的示例：
```batch
hadoop jar share\hadoop\mapreduce\hadoop-mapreduce-
examples-3.3.6.jar pi 2 1000
```
* 运行 WordCount 示例：
```batch
hadoop jar share\hadoop\mapreduce\hadoop-mapreduce-
examples-3.3.6.jar wordcount /test/localfile.txt /test/output
```
* 完成后查看结果：
```batch
hdfs dfs -cat /test/output/part-r-00000
```
**关闭 Hadoop 服务**
* 在启动 `start-dfs.cmd` 或 `start-yarn.cmd` 的对应窗口中，按 `Ctrl+C` 终止进程。
* 或者，也可以在 `$HADOOP_DIST\sbin` 目录下运行：
```batch
stop-yarn.cmd (如果启动了 YARN)
stop-dfs.cmd
```
**重要提示与常见问题**
1. **权限问题：**
* **务必**使用**管理员权限**运行所有启动服务的命令行窗口。
* 确保 `hadoop.dll` 已复制到 `C:\Windows\System32`。
* 确保 Hadoop 数据目录（如 `C:\hadoop_data`）及其子目录（`tmp`, `namenode`, `datanode`）存在，并且运行 Hadoop 进程的用户（通常是你自己）对其有完全的读写权限。
2. **路径格式：**
* 在配置文件（`core-site.xml`, `hdfs-site.xml`）中，路径请使用 **正斜杠(`/`)** 开头，并指定完整的盘符路径（如 `/C:/hadoop_data/tmp`）。这是 Hadoop 在 Windows 上的要求。
3. **环境变量：**
* 确认 `JAVA_HOME`, `HADOOP_HOME`, `Path`(包含 `%JAVA_HOME%\bin` 和 `%HADOOP_HOME%\bin`) 系统环境变量设置正确。设置后通常需要**重启命令行窗口**或**重启电脑**才能生效。在 `hadoop-env.cmd` 中设置 `JAVA_HOME` 是必需的。
4. **Winutils 匹配：**
* `winutils` 的版本**必须**与你下载的 Hadoop 版本（3.3.6）严格匹配。不匹配会导致各种奇怪的错误甚至无法启动。
5. **单引号问题（PowerShell）：**
* 在 PowerShell 中运行 `hdfs` 命令
时，如果路径参数包含空格，使用单引号 `'` 包裹路径可能会
出错。尽量使用双引号 `"` 或将路径中的空格替换为短横线 `-`。
6. **Windows 支持限制：**
* Hadoop 的主要开发和测试环境是 Linux。Windows 支持是社区提供的，虽然基本功能可用，但相比 Linux 可能更不稳定，遇到问题的几率更高。
7. **备选方案：**
* **Windows Subsystem for Linux (WSL/WSL2)：** 强烈推荐使用 WSL2。在 WSL2 中
安装一个 Linux 发行版（如 Ubuntu），然后按照标准的 Linux Hadoop
安装步骤进行。这种方式性能更好，兼容性更高，更接近生产环境。你可以在 Windows 的终端（如 Windows Terminal）中无缝使用 Linux 命令行操作 Hadoop。
本文介绍了解决OracleExamples安装过程中遇到的NS-32025和INS-52001错误的方法。主要原因是所选安装路径与已安装的Oracle软件冲突。通过更改Oracle主目录名称，可以成功安装。
扫一扫
2007
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
