weixin_42871236的博客

Mapreduce程序分为五个阶段：inputmapshufflereduceoutput其中shuffle是Mapreduce的核心，它的主要职责是把map的输出结果有效的·传送到reduce端。其过程分为map端和reduce端的操作。对shuffle过程的理解尤为重要，mapreduce的优化通常是对shuffle过程进行优化，shuffle过程在面试中也会经常问到。对shuf...

知识准备reducer类的操作对象是分区，一个分区初始化一次reducer类。reduce()函数的操作对象是组，一个分区中有几个分组就调用几次reduce()函数。分组默认采用通过比较键的方式来实现。当自定义组合键时，往往需要根据组合键中的某一个属性进行分组统计，此时就用到自定义分组类。通过重写其中的compare()方法定义分组规则。分组前先对合并后的分区文件中的记录进行排序，排序后再...

数据computer,huangxiaoming,85,86,41,75,93,42,85computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85,75english,liuyifei,85,41,75,21,85,96,14algorithm,liu...

DecimalFormat format 方法大家在format()一个小数是，总是对格式中的’0’和’#'有些不解吧！eg:1：new DecimalFormat(“00.000”).format(pi) //结果：03.1422：new DecimalFormat("##.###").format(pi) //结果：3.142都是对pi进行格式化，但第一个的结果是03.142,第二个...

知识准备在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时，或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口,自定义一个WritableComparable类型，并使其作为mapreduce计算的key类型。2.自定义H...

在mapreudce的类如IntWritable,LongWritable,Text等都有一个内置的比较函数，而我们可以对其进行修改实现简单的倒序排序。默认都是正序的从小到大。//如果是LongWritable类型的直接写成LongWritable.Comparaor即可,以此类推public static class MyNumberComparator extends IntWritabl...

数据：computer,huangxiaoming,85,86,41,75,93,42,85computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85,75english,liuyifei,85,41,75,21,85,96,14algorithm,li...

数据：需求:求该成绩表每门课程当中出现了相同分数的分数，还有次数，以及该分数的人数。代码:在这里package test;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.i...

数据：computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85computer,huanglei,99computer,liujialing,85computer,liuyifei,75computer,huangdatou,48computer,huangjiaju,88...

数据36.63.116.201|sdk.conf.igexin.com|20170207161935|61.147.218.24;222.186.20.109;222.186.20.123|036.63.123.215|cm052.getui.igexin.com|20170207161935|183.131.1.82|036.63.132.38|mmbiz.qpic.cn|20170207...