Yarn平台下出现java.lang.ArithmeticException:/ by zero 该异常的调试经验

Michael_Shentu

于 2013-11-18 11:49:35 发布

阅读量3.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop分布式系统文章标签：分布式计算 mapreduce 调试

本文链接：https://blog.youkuaiyun.com/shenxiaoming77/article/details/16802511

Hadoop分布式系统专栏收录该内容

19 篇文章

订阅专栏

本文详细阐述了在使用公司Yarn平台运行多个MapReduce应用时遇到的由磁盘空间不足引发的Java ArithmeticException问题，并提供了通过整理磁盘空间使应用程序的MapTask和ReduceTask恢复正常运行的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在公司的Yarn平台下跑多个Mapreduce application的时候，出现了下面的异常：

java.lang.ArithmeticException:/ by zero atorg.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:368)at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:150)atorg.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:131)at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:115)atorg.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.getLocalPathForWrite(LocalDirsHandlerService.java:263)atorg.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService$LocalizerRunner.run(ResourceLocalizationService.java:849)

原因分析：

该错误是由于无法创建本地文件而产生的，经过检查,一台nodemanager节点上磁盘空间不足导致无法创建本地文件, 在applcation监控页面下查找所有出现该异常的application以及相关的task,发现都是出现在该台服务器上,最后进行磁盘空间的整理，使得application 的maptask 和reducetask 的运行恢复正常