eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

最新推荐文章于 2021-02-28 11:29:45 发布

weixin_34001430

最新推荐文章于 2021-02-28 11:29:45 发布

阅读量325

点赞数

CC 4.0 BY-SA版权

文章标签： java 大数据开发工具

原文链接：https://yq.aliyun.com/articles/517041

本文记录了一次使用Hadoop进行数据处理时遇到的内存溢出错误，并详细描述了错误发生的过程及堆栈跟踪信息。通过对日志的分析，最终定位到问题原因并给出了解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 
    
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         13 
         WARN util.NativeCodeLoader: Unable to load 
         native
         -hadoop library 
         for 
         your platform... using builtin-java classes where applicable 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         13 
         WARN mapred.JobClient: Use GenericOptionsParser 
         for 
         parsing the arguments. Applications should implement Tool 
         for 
         the same. 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         13 
         INFO input.FileInputFormat: Total input paths to process : 
         2 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         WARN snappy.LoadSnappy: Snappy 
         native 
         library not loaded 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.JobClient: Running job: job_local911496586_0001 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.LocalJobRunner: Waiting 
         for 
         map tasks 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000000_0 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.Task:  Using ResourceCalculatorPlugin : 
         null 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.MapTask: Processing split: hdfs:
         //192.168.1.112:9000/txt/yw/mic.php:0+338124 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.MapTask: io.sort.mb = 
         100 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000001_0 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.Task:  Using ResourceCalculatorPlugin : 
         null 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.MapTask: Processing split: hdfs:
         //192.168.1.112:9000/txt/yw/pip.txt:0+96393 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.MapTask: io.sort.mb = 
         100 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         INFO mapred.LocalJobRunner: Map task executor complete. 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         14 
         WARN mapred.LocalJobRunner: job_local911496586_0001 
        

         java.lang.Exception: java.lang.OutOfMemoryError: Java heap space
        
 
             
         at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:
         354
         ) 
        

         Caused by: java.lang.OutOfMemoryError: Java heap space
        
 
             
         at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:
         954
         ) 
        
 
             
         at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:
         673
         ) 
        
 
             
         at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:
         756
         ) 
        
 
             
         at org.apache.hadoop.mapred.MapTask.run(MapTask.java:
         364
         ) 
        
 
             
         at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:
         223
         ) 
        
 
             
         at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:
         441
         ) 
        
 
             
         at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:
         303
         ) 
        
 
             
         at java.util.concurrent.FutureTask.run(FutureTask.java:
         138
         ) 
        
 
             
         at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:
         886
         ) 
        
 
             
         at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:
         908
         ) 
        
 
             
         at java.lang.Thread.run(Thread.java:
         619
         ) 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         15 
         INFO mapred.JobClient:  map 
         0
         % reduce 
         0
         % 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         15 
         INFO mapred.JobClient: Job complete: job_local911496586_0001 
        
 
         14
         /
         09
         /
         20 
         22
         :
         41
         :
         15 
         INFO mapred.JobClient: Counters: 
         0 
        

  