MapReduce框架中Key-Value对象的重用

最新推荐文章于 2022-07-27 15:23:15 发布

原创最新推荐文章于 2022-07-27 15:23:15 发布 · 2.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce

hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文探讨了MapReduce框架中reduce方法如何处理输入数据，解释了为何reduce方法中的输出可能会重复使用相同的对象实例，以及这如何导致最终输出总是显示列表中的最后一个值。文章提供了代码示例，并详细说明了解决这一问题的方法。

从代码看问题

@Override
        protected void reduce(Text key, Iterable<Text> values,Context context)
                throws IOException, InterruptedException {
            List<Text> list =new ArrayList<String>();
            int sum=0;
            for(Text val : values){
                list.add(val);
            }
            for(Text text : list){
                // 总是输出values列表中最后一个值
                System.out.println(text.toString());
            }

这是因为MapReduce框架对Key对象和Value对象重用

The framework calls this method for each <key, (list of values)> pair in the grouped inputs. Output values must be of the same type as input values. Input keys must not be altered. The framework will reuse the key and value objects that are passed into the reduce, therefore the application should clone the objects they want to keep a copy of.

也就是说虽然reduce方法会反复执行多次，但key和value相关的对象只有两个，reduce会反复重用这两个对象。所以如果要保存key或者value的结果，只能将其中的值取出另存或者重新clone一个对象（例如Text store = new Text(value) 或者 String a = value.toString()），而不能直接赋引用。因为引用从始至终都是指向同一个对象，你如果直接保存它们，那最后它们都指向最后一个输入记录。会影响最终计算结果而出错。