Error: java.lang.NullPointerException at java.util.concurrent.ConcurrentHashMap.get

最新推荐文章于 2024-04-25 21:39:54 发布

原创最新推荐文章于 2024-04-25 21:39:54 发布 · 1.3w 阅读

0 ·

CC 4.0 BY-SA版权

hive 专栏收录该内容

31 篇文章

订阅专栏

本文探讨了在使用Hive时遇到的错误及其原因，特别关注于主机名命名对查询执行的影响。通过实例分析，展示了如何解决由非法主机名导致的查询问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主机名命名规范引发的血案！

hadoop问题纪要：

tb表是hive中任何一张表，不同版本的hive ,将元数据库修改为derby也抱相同的错误。

/etc/hosts 也修改过 IP地址对于主机名。

hive执行 select * from tb; 不抱错

但是执行select count(*) frm tb 报错：

错误信息：

Diagnostic Messages for this Task:
Error: java.lang.NullPointerException
        at java.util.concurrent.ConcurrentHashMap.get(ConcurrentHashMap.java:768)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$GetMapEventsThread.getMapCompletionEvents(ReduceTask.java:2859)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$GetMapEventsThread.run(ReduceTask.java:2780)

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
MapReduce Jobs Launched:
Job 0: Map: 17 Reduce: 1 Cumulative CPU: 106.26 sec HDFS Read: 5445908751 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 1 minutes 46 seconds 260 msec

jobtracker日志：

2013-09-18 21:07:38,464 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201309182047_0003_r_000000_0: Error: java.lang.NullPointerException
at java.util.concurrent.ConcurrentHashMap.get(ConcurrentHashMap.java:768)
at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$GetMapEventsThread.getMapCompletionEvents(ReduceTask.java:2859)

问题最终的解决办法：

主机名不知道在什么时候被修改过改成了包含下划线的那种如 192_168_11_122。

然后将所有的slave的名字重新修改过来改成 h192-168-11-122，

修改主机名的办法：

/etc/sysconfig/network

hostname

修改hosts

/etc/hosts

总结：

1.hostname 不能包含下划线不能以数字开头

2.此类类似的问题主要是host无法识别。