在win主机中用eclipse执行MapReduce程序

Hadoop环境配置

除在虚拟机配置hadoop的环境变量以外，如果要在win主机调用hadoop的话，也需要配置hadoop的环境变量

我在虚拟机中使用的是Hadoop-3.3.6,所以也在win主机配置的3.3.6的版本（尽量配置与自己虚拟机相同的版本）

winutils.exe 和 hadoop.dll

winutils.exe是Hadoop用于在Windows操作系统上执行一些特定任务的工具。它提供了一些基本功能，如创建目录、更改文件权限等。

eclipse中就是利用它来进行操作
但在高版本的hadoop中它被官方移除了

winutils.exe被移除的原因是因为它是一个基于Windows平台的特定工具，与Hadoop的跨平台目标相违背。为了提高Hadoop的可移植性和可扩展性，开发团队决定不再维护和支持winutils.exe。

可以使用GitHub中的分享

GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows

下载相对应版本的winutils.exe 和 hadoop.dll，放入hadoop-3.3.6的bin目录下

hadoop-eclipse-plugin-2.6.0.jar

安装eclipse的hadoop-eclipse-plugin-2.6.0.jar插件

它是我们在eclipse中运行MapReduce程序的关键

这个插件也是选择相对应的版本.jar文件，但高版本的也是不再提供；我们可以使用2.6.0的版本，我使用仍然可以相匹配

eclipse-hadoop3x/release at master · Woooosz/eclipse-hadoop3x · GitHub

将他放入eclipse的plugins目录里即可，他是eclipse的插件目录

打开eclipse

新建项目Map/Reduce——hadoop101（这里偷懒，偷了别的师傅两张图，Orz）

查看自己虚拟机hadoop的配置文件

Map/Reduce(V2) Master:填写Hadoop集群的ResourceManager的IP地址和端口；
通过配置文件yarn-site.xml，属性yarn.resourcemanager.address的值，查看端口号。

DFS Master：填写Hadoop集群的NameNode的IP地址和端口；
通过配置文件core-site.xml，属性fs.default.name的值，查看端口号。

可以看到文件是一样的

之后运行自己的程序即可.