MapReduce 本地执行hadoop程序 报错 java.lang.RuntimeException: java.lang.reflect.InvocationTargetException

本文记录了一次在编写Hadoop程序过程中遇到的异常情况及解决办法。主要原因是自定义类未提供默认构造方法,导致程序无法正常实例化。通过添加默认构造方法,成功解决了异常问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

java.lang.Exception: java.lang.RuntimeException: java.lang.reflect.InvocationTargetException
	at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
	at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.RuntimeException: java.lang.reflect.InvocationTargetException
	at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:131)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:884)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:981)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:391)
	at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:80)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:675)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:747)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340)
	at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
	at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:129)
	... 13 more
Caused by: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.likun.mr.friend.User.<init>()
	at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:131)
	at org.apache.hadoop.io.WritableComparator.newKey(WritableComparator.java:144)
	at org.apache.hadoop.io.WritableComparator.<init>(WritableComparator.java:130)
	at org.apache.hadoop.io.WritableComparator.<init>(WritableComparator.java:121)
	at com.likun.mr.friend.FofSort.<init>(FofSort.java:8)
	... 18 more
Caused by: java.lang.NoSuchMethodException: com.likun.mr.friend.User.<init>()
	at java.lang.Class.getConstructor0(Class.java:3074)
	at java.lang.Class.getDeclaredConstructor(Class.java:2170)
	at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:125)
	... 22 more




今天写一个查找共同好友的hadoop 程序是出现了上面的错误,用百度上的什么使用jar包运行也没解决!无意中找到了,一个博主写的!

http://blog.youkuaiyun.com/zhouyan8603/article/details/50963563

当你使用自己的类实现WritableComparable接口时,必须要写上默认构造方法,加上默认的构造方法后问题解决了!




MapReduce Streaming是一个Hadoop工具,用于处理大规模数据集。如果在运行MapReduce Streaming任务遇到`java.lang.OutOfMemoryError: GC overhead limit exceeded`错误,通常这意味着垃圾回收(GC)过程消耗了过多的间,超过了系统设定的阈值,导致内存分配不足。 这个问题可能由以下几个原因造成: 1. **内存需求过大**:程序中的中间数据量远大于可用内存,尤其是在mapper、reducer阶段生成大量小对象,这可能导致频繁的内存分配和释放,触发大量的GC操作。 2. **溢出限制**:默认情况下,MapReduce有内存使用上限,当超过这个限制,尤其是短生命周期的对象过多,可能会触发此错误。 3. **内存泄漏**:程序中存在内存泄漏的情况,资源没有被正确地释放,会占用越来越多的内存。 4. **配置不合理**:检查你的MapReduce Streaming作业的资源配置,包括内存限制(如map/reduce.memory.mb)和垃圾回收策略设置是否足够。 解决这类问题的步骤包括: - **优化代码**:减少不必要的数据转换,尽量合并中间结果,避免频繁创建临对象。 - **调整配置**:增大内存限制或调整垃圾回收参数(例如,通过增加mapred.task.timeout或mapreduce.map.max心老间),但这需要谨慎,因为更高的限制可能导致更长的处理间。 - **监控日志**:查看详细的job日志,找出哪些阶段占用了大量内存或者引发了很多GC操作。 - **使用大文件**:对于大数据,考虑使用大文件输入,以减少小文件带来的内存开销。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值