使用IDEA 2019在windows 10 上连接远程hadoop集群（虚拟机）开发MapReduce

最新推荐文章于 2024-10-07 20:42:10 发布

sdc_sh

最新推荐文章于 2024-10-07 20:42:10 发布

阅读量5.1k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：大数据应用文章标签： hadoop java hdfs hadoop 3.2.0 jdk 8

本文链接：https://blog.youkuaiyun.com/sdc_sh/article/details/99290437

本文记录了在Windows 10环境下，使用IDEA 2019连接远程Hadoop 3.2.0集群进行MapReduce开发的过程。涉及Hadoop的安装、JAVA访问HDFS、获取hadoop.dll和winutils.exe、运行wordcount实例以及遇到的UnsatisfiedLinkError问题的解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0 前序

暑假期间参加了一个关于大数据的培训，当时用培训老师给出的相关软件实验了一遍，感觉收获很大，回到学校后在更新的版本中又实现了一遍，这里主要就在新版本中的一些环境配置做些笔记，供自己后续实践参考，有些步骤可能会多余，但由于是初学，也就只能在自己掌握的情况下做些调整。

在前期的CentOS中集群环境下的hadoop 3.2 配置中没有碰到过多的问题，主要的一个就是jdk的选择问题，之前选的最新版本jdk12，配置中出现一些问题，查了资料后有一篇文章中写到在jdk 9 以上的环境要如何操作等等，自己按文中提供的方法操作后还是有问题，遂放弃。后来看到Java 版本选择问题中有如下内容，

因此还是老老实实的用回 java 8 ，选用的是jdk-8u221-linux-x64.tar.gz，解压安装简单的配置后hadoop启动正常。

1. windows 下 JAVA访问HDFS

1）windows下hadoop的安装

关于在windows 下通过java访问hdfs中hadoop的安装配置，自己不是很理解，感觉把下载的hadoop-3.2.0 解压到windows中某个目录后，添加2个文件，没有其它的配置就可以用了，windows中hadoop起的作用不是很清楚，后续有时间再摸索。

hadoop 3.2.0 的解压

在windows下把hadoop-3.2.0.tar.gz解压到相应目录（个人习惯在D:\Program Files\）。在解压过程中会碰到如下错误：

解决方法，在cmd中使用解压命令：start winrar x -y hadoop-3.2.0.tar.gz，如果是解压在其它地方，后面在复制到其它目录，则会出现“文件名对目标文件夹可能太长”类似错误，这个错误主要发生在复制，剪切的时候。解决方法为，直接拷贝到目标目录，然后直接解压到当前目录即可。

2）创建项目时用到的lib库

根据java程序的功能不同，需要的库会略有不同，基本上是“hadoop-3.2.0\share\hadoop”下Common目录下的“hadoop-common-3.2.0.jar，hadoop-kms-3.2.0.jar，hadoop-nfs-3.2.0.jar”，以及该目录下的lib文件夹下的所有文件，加上实际功能的lib，比如访问hdfs，则再加上“hadoop-3.2.0\share\hadoop”下hdfs目录下的jar包以及lib下的所有文件。在创建的工程中按下面步骤操作：