今天写了一个mapreduce程序,运行一直是io异常,经调试觉得错误很诡异,无法理解。
折腾了很久发现,是由于combine过程我是直接简单的调用了Reduce函数,但实际上在我的这个场景里,combine和Reduce是不一样的。
记录一下,如果大家遇到类似的诡异的错误,也可以考虑一下combine的问题。是一种纠错思路吧。
本文分享了一次解决MapReduce程序中Combine使用不当导致的IO异常经历。作者最初将Combine简单视为Reduce的预处理步骤,但实际二者功能不同。通过调试发现Combine逻辑错误后,程序运行正常。文章提醒开发者注意Combine与Reduce的区别。
今天写了一个mapreduce程序,运行一直是io异常,经调试觉得错误很诡异,无法理解。
折腾了很久发现,是由于combine过程我是直接简单的调用了Reduce函数,但实际上在我的这个场景里,combine和Reduce是不一样的。
记录一下,如果大家遇到类似的诡异的错误,也可以考虑一下combine的问题。是一种纠错思路吧。
1089

被折叠的 条评论
为什么被折叠?