使用IDEA 2019在windows 10 上连接远程hadoop集群(虚拟机)开发MapReduce

本文记录了在Windows 10环境下,使用IDEA 2019连接远程Hadoop 3.2.0集群进行MapReduce开发的过程。涉及Hadoop的安装、JAVA访问HDFS、获取hadoop.dll和winutils.exe、运行wordcount实例以及遇到的UnsatisfiedLinkError问题的解决。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

0 前序

暑假期间参加了一个关于大数据的培训,当时用培训老师给出的相关软件实验了一遍,感觉收获很大,回到学校后在更新的版本中又实现了一遍,这里主要就在新版本中的一些环境配置做些笔记,供自己后续实践参考,有些步骤可能会多余,但由于是初学,也就只能在自己掌握的情况下做些调整。

 在前期的CentOS中集群环境下的hadoop 3.2 配置中没有碰到过多的问题,主要的一个就是jdk的选择问题,之前选的最新版本jdk12,配置中出现一些问题,查了资料后有一篇文章中写到在jdk 9 以上的环境要如何操作等等,自己按文中提供的方法操作后还是有问题,遂放弃。后来看到Java 版本选择问题中有如下内容,

 

 因此还是老老实实的用回 java 8 , 选用的是jdk-8u221-linux-x64.tar.gz, 解压安装简单的配置后hadoop启动正常。

1. windows 下 JAVA访问HDFS 

1)windows下hadoop的安装

关于在windows 下通过java访问hdfs中hadoop的安装配置,自己不是很理解,感觉把下载的hadoop-3.2.0 解压到windows中某个目录后,添加2个文件,没有其它的配置就可以用了,windows中hadoop起的作用不是很清楚,后续有时间再摸索。

hadoop 3.2.0 的解压

在windows下把hadoop-3.2.0.tar.gz解压到相应目录(个人习惯在D:\Program Files\)。在解压过程中会碰到如下错误:

hadoop-3.2.0.tar.gz解压错误

解决方法,在cmd中使用解压命令:start winrar x -y hadoop-3.2.0.tar.gz,如果是解压在其它地方,后面在复制到其它目录,则会出现“文件名对目标文件夹可能太长”类似错误,这个错误主要发生在复制,剪切的时候。解决方法为,直接拷贝到目标目录,然后直接解压到当前目录即可。

2)创建项目时用到的lib库

根据java程序的功能不同,需要的库会略有不同,基本上是“hadoop-3.2.0\share\hadoop”下Common目录下的“hadoop-common-3.2.0.jar,hadoop-kms-3.2.0.jar,hadoop-nfs-3.2.0.jar”,以及该目录下的lib文件夹下的所有文件,加上实际功能的lib,比如访问hdfs,则再加上“hadoop-3.2.0\share\hadoop”下hdfs目录下的jar包以及lib下的所有文件。在创建的工程中按下面步骤操作:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值