Windows下使用IDEA执行WordCount（Hadoop3.0.0）

最新推荐文章于 2025-01-20 04:36:01 发布
原创 最新推荐文章于 2025-01-20 04:36:01 发布 · 1.4w 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#windows #hadoop #intellij idea #hdfs

本文详细介绍在Windows环境下安装配置Hadoop3.0.0的步骤，并分享如何在IDEA中运行WordCount实例的经验。文章还提供了解决Nosuchfileordirectory错误的方法，确保读者能够顺利进行Hadoop项目的开发。

Windows 下安装 Hadoop3.0.0

https://blog.youkuaiyun.com/zhiyeegao/article/details/88087232

IDEA上运行WordCount实例

https://blog.youkuaiyun.com/yuz_99/article/details/90707655

idea远程调用hdfs工具包，明明是开源工具，有些人非要积分下载，一言难尽，给大家放网盘了

https://blog.youkuaiyun.com/Mrkaizi/article/details/105286124

 

错误解决：

Hadoop项目出现No such file or directory错误

Exception in thread "main" 0: No such file or directory

兄弟，你的Hadoop八成是通过管理员权限的命令行窗口启动的！

你的IDEA，它权限不够了，关闭后使用管理员权限打开IDEA，重新执行你的代码。

然后就成功了~~~

大数据之-Hadoop3.x_MapReduce_WordCount案例集群运行---大数据之hadoop3.x工作笔记0093
添柴程序猿的专栏
07-15 490
然后我们再来看让我们写的那个WordCount的,用java写的这个程序在hadoop的集群上运行. 怎么实现? 我们知道上一节,我们已经可以把我们的WordCount的MapReduce程序,我们自己写的,在idea中调试运行了,但是 我们想一下,我们的这个程序是在我们的集群上运行的吗? 很显然不是,我们的集群还没有打开来对吧,怎么运行,所以他是在本地执行的, 用的是hadoop支持的,本地模式. 那么接下来我们就去看看,我们怎么把我们写的WordCount的MapReduce程序...
在 IDEA 中编写 spark wordcount 程序
a1786742005的博客
03-16 900
一、环境准备 安装好 jdk 安装好 idea 安装好 scala 安装好 windows 编译后的 hadoop 环境变量都要配置好 二、用 maven 将程序打成 jar 包上传到集群运行 1、创建一个 maven 项目 2、安装 scala 插件 3、在项目中添加 scala 插件 4、添加 pom 依赖 <properties> <log4j.ver...
IDEA编写各种WordCount运行_idea开发wordcount程序
2501_90330738的博客
01-20 872
搞了一个晚上加一个白天，总算搞出来了，呼~~
IDEA运行WordCount程序（详细步骤）
a18307096730的博客
11-15 8458
IDEA版本：2020.3 Hadoop版本：2.7.7 准备工作： 首先你得搭建好你的hadoop集群，然后IDEA插件Big Data Tools能成功连接上hdfs分布式文件系统 先搞懂WordCount程序的原理 然后，新建一个maven程序（包名自己定义就好了） 配置pom.xml文件（导入你hadoop版本相应的依赖，我的hadoop是2.7.7的） <dependencies> <dependency> ...
HadoopIntellijIDEAPlugin-hadoop3.0.0-alpha2
01-03
HadoopIntellijIDEAPlugin插件是通过下载源码，自己本地编译成功后使用maven打包的一个zip插件。下载下来后，通过安装本地插件进行安装，希望对你们有所帮助。
Hadoop 3.2.0 完全分布式集群搭建 与 WordCount 运行
李虹柏的博客
08-03 3147
一.集群环境搭建 首先准备4台服务器(虚拟机) 设置静态ip与地址映射:centos7 修改为静态ip并设置地址映射 地址映射为如下 然后设置集群SSH免密登录与分发脚本:centos7配置集群SSH免密登录(包含群发文件脚本) 如果有防火墙记得关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld...
在windows下面的Hadoop 环境搭建 wordcount
butterluo的博客
11-28 241
1,参考 http://hadoop.apache.org/common/docs/stable/single_node_setup.html  2,装 'Cygwin '记得安装openssh,最好干脆全部安装 3,在Cygwin中的JAVA_HOME是和window的环境变量一致的,不必在CYGWIN_HOME/etc/profile中再次配置 4,在HADOOP_HOME/conf/h...
本地idea 调试Hadoop的mr任务（Windows环境）以及对应安装包的下载
huni的博客
12-08 2219
本地运行调试 mr作业
在Intellij IDEA 中编写WordCount程序并打包到集群测试
背离赤道、逆光而行
11-05 1144
在前面两篇博客的基础上： https://blog.csdn.net/weixin_40096730/article/details/102782195 https://blog.csdn.net/weixin_40096730/article/details/89921176 package com.likexinTest.BigData.Spark import org.apache...
利用Hadoop MapReduce实现单词统计——Wordcount
YF_Li123的博客
04-16 2652
Hadoop MapReduce实现单词统计——Wordcount环境：Centos 7系统+IDEA本程序是利用IDEA中的Maven来实现的，主要是因为Maven省去了在本地搭建Hadoop环境的麻烦，只需要在配置文件中进行相应的配置即可。如果你还没有安装IDEA，可以参考Linux下如何安装IntelliJ IDEA本（1）新建java Project ，并命名为WordCount。如果不知...
IDEA开发WordCount程序（Spark java程序）
最新发布
07-03
首先，在IntelliJ IDEA中创建一个新的Maven项目。选择“File” -> “New” -> “Project”，然后选择Maven作为项目类型。按照向导完成项目的创建过程。 ### 添加Spark依赖 在`pom.xml`文件中添加Apache Spark的...
【Spark】【第二章】 IDEA开发环境准备 & WordCount
weixin_43589563的博客
10-08 296
（1）增加Scala插件 Spark由Scala语言开发的，所以本课件接下来的开发所使用的语言也为Scala，咱们当前使用的Spark版本为3.0.0，默认采用的Scala编译版本为2.12，所以后续开发时。我们依然采用这个版本。开发前请保证IDEA开发工具中含有Scala开发插件 （2） 增加依赖关系 修改Maven项目中的POM文件，增加Spark框架的依赖关系。本课件基于Spark3.0版本，使用时请注意对应版本。 <dependencies> <dependency&gt
hadoop：IDEA本地编写mapreducer的wordcount并测试，并上传到hadoop的linux服务器进行测试
sunweijm的博客
11-07 4339
1.首先确认linux服务器安装好了hadoop安装教程：http://blog.csdn.net/sunweijm/article/details/783997262.使用IDEA编写mapreducer的demo.2.1 IDEA创建一个maven项目，项目名称为WordCount2.2 配置Project Settings的Modules在IDEA的Project Structure中：选择左
Hadoop--HDFS的API环境搭建、在IDEA里对HDFS简单操作
weixin_44976835的博客
03-28 1801
在windows系统安装hadoop 首先下载hadoop：hadoop-3.1.4.tar.gz 解压到C:\Hadoop目录下 然后下载winutils：https://github.com/cdarlint/winutils：3.0版本 然后将winutils3.0版本中的bin目录替换解压出的hadoop-3.1.4目录下的bin目录 然后配置环境变量：HADOOP_HOME 然后将Hadoop-3.1.4的bin和sbin目录配置到PATH中： 此时Hado
Idea+Maven运行简单的Hadoop WordCount程序
NoBugNoLife的博客
03-20 3067
开发环境 操作系统：Manjora Linux 开发软件：Idea Ultimate 2018.3 Jdk开发环境：1.8（请尽量不要使用超过9以上的，如果环境不是1.8请修改pom.xml里面的toos.jar的版本） Maven版本：maven3.3.9 文章目录开发注意事项 开发注意事项 尽量在Linux或MacOs操作系统上开发，Windows上有可能会出现权限问题 Jdk环境如果不...
Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序
qq_35170267的博客
09-26 1376
Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序 新建一个Maven项目 不用说了，普通的Maven项目就行。 加入Hadoop依赖 其中的${hadoop.version}对应自己使用的Hadoop版本 hadoop-client &lt;!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop...
win10 + hadoop2.7.3 + idea 运行第一个MapReduce项目：WordCount
渣渣的夏天
10-23 1622
win10 + hadoop2.7.3 + idea 运行第一个MapReduce项目：WordCount，主要详细讲解如何利用 idea 新建 maven 项目，导入必要依赖包以及运行 wordcount 的demo演示。
hadoop3.0.0运行mapreduce(wordcount)过程及问题总结
科研糖
04-24 1万+
配置并启动hadoop，启动hadoop后无datanode问题，运行wordcount过程，WEB端查看不到提交的job和对应application记录问题，container-launch异常问题。
Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount（详细版）
热门推荐
NBA首席形象大使坤坤
04-10 1万+
使用IDEA直接运行Hadoop项目，有两种方式，分别是本地式：本地安装Hadoop+IDEA；远程式：远程部署Hadoop，本地安装IDEA并连接， 本文介绍第二种。 文章目录一、安装配置Hadoop(1)虚拟机伪分布式(2)云服务器分布式二、配置IDEA1、安装配置Maven2、新建Maven项目三、设置连接Hadoop1、Linux中操作2、IDEA中操作四、可能出现的问题 一、安装配置Hadoop (1)虚拟机伪分布式 见上才艺！CentOS7从0到1部署Apache Hadoop生态集群 (2)云
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值