Partitioner编程

partitioner编程

目的： 针对上篇博客中输出的结果放在不同的分区中

为什么要用分区？

可以按照不同的属性分别存放，统计比较方便。
例如：统计全国各个市的短信和电话使用情况，考虑到全国各地的人经常会出差，以及大量的旅游人员，比如北京的人，出差或旅游上海，他在上海的电话以及短信使用情况就会保存在离他较为近的基站中，这样，信息较为分散，查询效率比较低，使用分区，将同一个市中的短信及流量等在全国进行收集，放到一个分区中，较为方便。下面是一个简单的模拟分区使用情况。

只需要在上篇博客中，加入一个partitioner类即可实现该目的。

package cn.master1.hadoop.mr.dc;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class DataCount {

    public static void main(String[] args) throws Exception {
         Configuration conf = new Configuration();
         Job job = Job.getInstance(conf);

         job.setJarByClass(DataCount.class);

         job.setMapperClass(DCMapper.class);
         /*当k2 v2 和 k3 v3 类型一一对应时，此行和下面一行可以省略。*/
         job.setMapOutputKeyClass(Text.class);
         job.setMapOutputValueClass(DataBean.class);
         FileInputFormat.setInputPaths(job, new Path(args[0]));

         job.setReducerClass(DCReducer.class);
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(DataBean.class);
         FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //增加内容
         job.setPartitionerClass(ProviderPartitioner.class);

         //增加内容
         job.setNumReduceTasks(Integer.parseInt(args[2]));

         job.waitForCompletion(true);
    }

    public static class DCMapper extends Mapper<LongWritable, Text, Text, DataBean>{

        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, DataBean>.Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            String[] fileds = line.split("\t");
            String telNo = fileds[1];
            long up = Long.parseLong(fileds[8]);
            long down = Long.parseLong(fileds[9]);
            DataBean bean  = new DataBean(telNo, up, down);
            context.write(new Text(telNo), bean);
        }

    }

    public static class DCReducer extends Reducer<Text, DataBean, Text, DataBean>{

        @Override
        protected void reduce(Text key, Iterable<DataBean> v2s, Context context)
                throws IOException, InterruptedException {
            long up_sum = 0;
            long down_sum = 0;
            for(DataBean bean : v2s){
                up_sum += bean.getUpPayLoad();
                down_sum += bean.getDownPayLoad();
            }
            DataBean bean = new DataBean("", up_sum, down_sum);
            context.write(key, bean);
        }
    }

    //增加类容
    public static class ProviderPartitioner extends Partitioner<Text, DataBean>{

        //先初始化providerMap 同为static ，从上往下执行。
        private static Map<String,Integer> providerMap = new HashMap<String, Integer>();
        static {
            providerMap.put("135", 1);
            providerMap.put("136", 1);
            providerMap.put("137", 1);
            providerMap.put("138", 1);
            providerMap.put("139", 1);
            providerMap.put("150", 2);
            providerMap.put("159", 2);
            providerMap.put("182", 3);
            providerMap.put("183", 3);

        }
        @Override
        public int getPartition(Text key, DataBean value, int numPartitions) {
            String account = key.toString();
            String sub_acc = account.substring(0,3);//从0开始取三位
            Integer code = providerMap.get(sub_acc);
            if(code == null){
                code = 0;
            }
            return code;
        }
    }
    //结束
}

以下流程和上篇相同。
注意：在最后命令执行时候有所区别 hadoop jar /root/examples.jar cn.master1.hadoop.mr.dc.DataCount /data.txt /data-p 4 最后4这个参数为args[2])所需的参数。