Hadoop集群错误

最新推荐文章于 2024-10-09 11:36:28 发布

转载最新推荐文章于 2024-10-09 11:36:28 发布 · 132 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/mengyao/p/4496465.html

文章标签：

#大数据

一、提交MapReduce作业到YARN时报错：org.apache.hadoop.yarn.exceptions.yarnexception: unauthorized request to start container.

　　解决办法：同步namenode和datanode的时间。

二、使用Map端Shuffle报错：wrong key class: class org.apache.hadoop.io.NullWritable is not class org.apache.hadoop.io.Text

　　解决办法：Map任务本地合并后输出的Key和Value必须一致，在Reduce函数中将输入输出的Key和Value类型设置相同即可，如将reduce<Text, NullWritable, NullWritable, Text> 改为reduce<Text, NullWritable, Text, NullWritable>则解决。

转载于:https://www.cnblogs.com/mengyao/p/4496465.html