Hodoop碰到的问题628

最新推荐文章于 2022-12-08 20:41:45 发布

转载最新推荐文章于 2022-12-08 20:41:45 发布 · 130 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5b2deffde51d4558a75e877a

文章标签：

#java #大数据

本文针对Windows环境下执行MapReduce时遇到的各种错误进行了详细的解析，并提供了有效的解决方案，包括配置问题、自定义对象报错及中文乱码等问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

windows执行mapreduce报错信息如下

Exception in thread "main" java.net.UnknownHostException: Invalid host name: local host is: (unknown); destination host is: "hadoop1":8032; java.net.UnknownHostException;
复制代码

重启下电脑没什么事了...莫名其妙

Exception message: /bin/bash: line 0: fg: no job control

Stack trace: ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control
复制代码

设置Configura如下

conf.set("mapreduce.app-submission.cross-platform","true");
复制代码

报错如下

Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From SKY-20180605RQV/192.168.0.172 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused: no further information;
复制代码

运行MapReduce时异常

自定义map输出对象报错如下

java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.Information.<init>()
   at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
   at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:529)
复制代码

原因没有在自定义的writeble中设置无参构造函数

2.mapreduce输出中文变成乱码

添加如下代码

 public static Text transformTextToUTF8(Text text, String encoding) {
       String value = null;
       try {
           value = new String(text.getBytes(), 0, text.getLength(), encoding);
       } catch (UnsupportedEncodingException e) {
           e.printStackTrace();
       }
       return new Text(value);
   }
复制代码

map中

 Text newText = transformTextToUTF8(value, "GBK");
        String  a= newText.toString();
复制代码

转载于:https://juejin.im/post/5b2deffde51d4558a75e877a