mapreduce使用过程中的常见错误

最新推荐文章于 2025-06-10 15:02:08 发布

Andrew_Yuan

最新推荐文章于 2025-06-10 15:02:08 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/Andrew_Yuan/article/details/80365415

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了 Hadoop 运行过程中遇到的 YarnException 错误及其解决办法，并分享了使用 IDEA 打包 Jar 文件的具体步骤，特别是如何正确设置 Main-Class 属性以确保 Jar 文件能在 Hadoop 上顺利执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Main-Class

定义jar文件的入口类，该类必须是一个可执行的类，一旦定义了该属性即可通过 java -jar x.jar来运行该jar文件。

1.hadoop错误-YarnException: Unauthorized request to start container

报错：Application application_1456816082333_0023 failed 2 times due to Error launching appattempt_1456816082333_0023_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.
This token is expired. current time is 1456817746086 found 1456817710065
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:525)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:152)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch(AMLauncher.java:122)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:249)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
at java.lang.Thread.run(Thread.java:722)
. Failing the application.

看错误提示是时间不匹配，应该是datanode和namenode时间不匹配，

用命令：date -s '2018-5-18 12:48:30' +'%F %T' #2018-5-18 12:48:30为将要设定的时间

问题解决！

2.运行worldcount 程序一直报错。说输出目录已经存在！一开始的路径是/wordcount/output 报错already exists，我删除了output 又报错： already exists，最终发现问题所在！

问题出在了打jar的时候已经将main方法打入jar包，所以已经指定了main方法，在hadoop上执行jar包时，就不用重新指定main方法位置。执行命令是hadoop jar wordcount.jar /wordcount/input /wordcount/output

*******************

这里说一下idea打jar包的步骤，如果打jar失败时可以这么尝试

1. Main-Class

定义jar文件的入口类，该类必须是一个可执行的类，一旦定义了该属性即可通过 java -jar x.jar来运行该jar文件。选择“Main Class”后，选择“copy to the output and link via manifest”，配置“Directory for META-INF/MAINFEST.MF”，此项配置的缺省值是：D:\workshop\DbUtil\src\main\java，需要改成：D:\workshop\DbUtil\src\main\resources，如果不这样修改，打成的jar包里没有包含META-INF/MAINFEST.MF文件，这个应该是个IDEA的BUG，配置完成后如下图所示，点击OK进入下一步。（如果选择“extract to the target jar”，即把第三方jar文件，打入最终的可运行jar包时，可以不修改“Directory for META-INF/MAINFEST.MF”的配置，用缺省值即可）