本地运行mapreduce报错记录

最新推荐文章于 2024-01-04 13:43:52 发布

转载最新推荐文章于 2024-01-04 13:43:52 发布 · 366 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://www.cnblogs.com/kelly-one/p/10514371.html

大数据学习专栏收录该内容

6 篇文章

订阅专栏

本文介绍在IntelliJ IDEA中运行WordCount程序时遇到的本地运行报错问题及解决方案，通过修改NativeIO类的方法返回值，成功解决了在Windows环境下出现的UnsatisfiedLinkError错误。

wordcount在本地运行报错解决：Exception in thread "main" java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.NativeID$Windows.access

在windows中的intellij中运行wordcount程序，控制台输出以下报错

在Intellij编辑器中解决办法：本地重新创建NativeIO类，修改一个方法返回值，然后用新建的NativeIO类覆盖源码中的NativeIO类。下面会展示。首先按2次shift，找到NativeIO，然后选择 download resource下载源码

然后在项目的java目录下重建一个NativeIO类，用于覆盖该源码，ctrl+A选中NativeIO源码，覆盖掉在java目录下新建的NativeIO类

在NativeIO类中找到access0返回值所在的方法，将返回参数改成return true。

至此，再次运行wordcount程序，报错问题得以解决

转自：https://www.cnblogs.com/kelly-one/p/10514371.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mlx1016

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop【使用篇】05：MapReduce任务日志查看

weixin_40612128的博客

03-01

4853

MapReduce任务日志查看

MapReduce运行问题记录

m0_37324825的博客

11-28

568

1.只能本地运行具体问题通过hadoop jar的方式提交jar包，但是只能本地运行Local_job。解决方法 hadoop部署包下/etc/hadoop/yarn.xml配置出错。缺少如下配置，添加即可。 &amp;amp;lt;property&amp;amp;gt; &amp;amp;lt;name&amp;amp;gt;mapreduce.framework.name&amp;am

参与评论您还未登录，请先登录后发表或查看评论

探讨MapReduce失败的几种情形

andyguan01_2的博客

04-22

3925

在现实情况中，程序运行可能遇到各种故障：用户代码错误不断、进程崩溃、机器故障等等。使用Hadoop最主要的好处之一是它能处理此类故障并让你能够成功完成作业。五门需要考虑以下实体的失败：任务、application master、节点管理器和资源管理器。 1、任务运行失败首先考虑任务失败的情况。最常见的情况是map任务或reduce任务中的用户代码抛出运行异常。如果发生这种情况，任务JVM会在退出...

大数据技术之Hadoop（MapReduce）第8章常见错误及解决方案

尚硅谷铁杆粉丝的博客

08-23

1174

1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。 3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4...

Mapreduce运行报错

qq_41330277的博客

10-31

819

WARN security.UserGroupInformation：PriviledgedActionException as：hadoop（auth：SIMPLE）cause：java.io.IOException：java.net.ConnectException：在连接异常时调用从hh4 / 192.168.21.128到hh4：10020失败：java.net.ConnectExcep...

Windows本地执行MapReduce程序报错的解决办法

loetca

08-26

677

Windows本地执行MapReduce程序报错的解决办法

运行MapReduce程序报错问题

lee_charles的博客

03-29

1084

学习hadoop过程中，当运行MapReduce程序时， bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+' 会出现如下错误：

mapreduce报错

wangwangliqing的博客

07-08

635

windows执行mapreduce报错信息如下 Exception in thread "main" java.net.UnknownHostException: Invalid host name: local host is: (unknown); destination host is: "hadoop1":8032; java.net.UnknownHostException; 重启下...

MIT6.824 Lab1 MapReduce 实验记录与总结

weixin_45842471的博客

08-19

576

mit6.824 lab1 MapReduce 实验记录与总结

MapReduce 运行原理（万字长篇原理 + 案例）

weixin_47243236的博客

11-27

2568

所有实例都是在本地环境下测试的，无需启动集群！版本说明： idea：2021.2.2 jdk：1.8 maven：3.8.2（用idea自带的也行） 1. MapReduce 框架原理运行大致步骤： #mermaid-svg-j8uOENfaUt4lZt6b .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-.

mapreduce报错解决办法总结

10-30

Jobtracker启动报错:解决方法：导入guava-r09-jarjar.jar org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap错误分析及解决方法： Intel版本hadoop因为缺少license，启动jobtracker报错:

Mapreduce运行异常分析

zzu::myorange

12-27

1346

hadoop jar…运行异常，终端日志如下 Job job_1609054990280_0001 failed with state FAILED due to: Application application_1609054990280_0001 failed 2 times due to AM Container for appattempt_1609054990280_0001_000002 exited with exitCode: 1 Failing this attempt.Diagnos

运行MapReduce使出错

大鱼的博客

03-04

586

运行上传在HDFS上的文件，出现错误： 19/03/05 22:16:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 19/03/05 22:16:59 INFO client....

mapreduce程序运行错误

m0_48855542的博客

06-14

609

mapreduce程序在hadoop中运行错误

MapReduce运行任务报错

Make progress step by step everyday.....

08-03

4870

MapReduce运行任务报错如下： Error: java.io.IOException: Failing write. Tried pipeline recovery 5 times without success. at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DF

mapreduce阶段报错

围城

03-11

626

2018/03/10 一定要之一，修改了配置文件之后，一定要把所有的节点同步到其他的机器上才会有效果。现在多次遇到的一个情况就是，基本上也能看懂的东西，就是内存部分报错。这里的话，毕竟这边的机器配置还是不太高。我也看了看网上的解决方案，有的是该配置，有的是从源码角度去修改。（有一个角度可以去修改，就是每次任务，或者说每个阶段能够占到的最大资源，从这个角度去进行适配机器。）现在的话，还是不要...

执行MapReduce程序的参数类型问题导致报错

Galaxy987的博客

01-04

567

错误原因是参数类型不统一：这个异常表示在执行MapReduce作业时，键的类型不匹配。期望的键类型是org.apache.hadoop.io.Text，但实际接收到的类型是org.apache.hadoop.io.LongWritable。请检查代码中涉及到键类型的部分，确保使用正确的类型。

Mapreduce常见错误

skyanddream的博客

11-26

648

1.Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :interface javax.xml.soap.Text 解决办法：这是由于Text的包导入错误，应该使用Hadoop.io的包 2.java.lang.Exception: java.io.IOException: Type mismatch in key from map: expected or

windows下运行mapreduce报错The auxService mapreduce_shuffle do 解决方案

zjh_746140129的博客

08-23

420

笔者在windows下运行一个mapreduce的wordcount案例时报错，遇到如下错误The auxService mapreduce_shuffle do，以下是错误和解决方案错误信息 org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService: mapreduce_shuffle...

一、实验目的： 1. 掌握 Hadoop 集群的配置和使用。 2. 理解 Hadoop MapReduce 编程模型执行流程。 3. 学习如何编写 MapReduce 程序来处理大规模数据集。二、实验内容： 1. 配置 Hadoop 集群 2. 编写 MapReduce 程序实现特定数据处理任务 3. 在Hadoop集群上运行MapReduce程序三、实验环境（列出本次实验所用的硬件、软件环境，如操作系统版本、Hadoop 版本、虚拟机环境等）。四、实验步骤：环境搭建：安装 Hadoop。配置 Hadoop 环境变量。配置 Hadoop 集群（包括 HDFS、YARN 和 MapReduce）。 MapReduce 程序开发：描述 MapReduce 程序的业务逻辑。编写 Mapper 类。编写 Reducer 类。编写驱动程序 Main 方法。程序测试：在本地环境测试 MapReduce 程序。将数据集上传到 HDFS。在 Hadoop 集群上运行 MapReduce 程序。结果分析：分析 MapReduce 程序的输出结果。比较本地和集群上的执行结果。步骤 1：操作说明：配置/命令：截图/结果：步骤 2：操作说明：配置/命令：截图/结果：（按实际步骤继续添加）五、实验结果：（总结实验的主要结果，展示关键步骤的截图，提供输出结果并进行初步分析）六、结果分析与讨论（讨论实验过程中遇到的问题及解决办法。）七、参考文献（列出实验中参考的书籍、文献或在线资源）