WordCount示例编写在一堆给定的文本文件中统计输出每一个单词出现的次数

一.定义一个mapper类
1.首先要定义四个泛型的类型
keyin:LongWritable keyout:Text
valuein:Text valueout:IntWritable

Mapper<keyin, keyout,valuein,valueout>
keyin:表示数据输入的时候key的数据类型,在默认的读取数据组件下,叫InputFormat, 它的行为是一行一行的读取待处理的数据,读取一行,返回一行给我们的mr程序 [在这种情况下,keyin就表示每一行的起始偏移量,它的数据类型是Long]
valuein:表示数据输入的时候value的数据类型, [在默认的读取数据组件下,valuein就表示读取的这一行内容,因此数据类型是String]
keyout:表示mapper数据输出的时候key的数据类型 [在本案例中,输出的key是单词,因此数据类型是String]
valueout:表示mapper数据输出的时候value的数据类型 [在本案例中,输出的value是单词的次数,因此数据类型是Integer]
这里所说的数据类型String,Long都是jdk自带的类型,在序列化的时候,效率低下,因此hadoop自己封装一套数据类型
long---->LongWritable
String—>Text
Integer—>IntWritable
null—>NullWritable

这里就是mapper阶段具体的业务逻辑实现方法,该方法的调用取决于读取数据的组件有没有给mr传入数据,如果有的话,没传入一个<k,v>时,该方法就会被调用一次

public class WordCountMap extends Mapper<LongWritable,Text,Text,IntWritable> {
   //重写map方法
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    //拿到传入进来的一行内容,把数据类型转化为String
        String line = value.toString();
    //将这一行内容按照分隔符进行一行内容的切割,切割成一个单词数组
        String[] words = word.split(" ");
     //遍历数组,每出现一个单词,就标记一个数字1       <单词,1>
        for (String word : words) {
     //使用mr程序的上下文context,把mapper阶段处理的数据发送出去,作为reduce节点的输入数据
            context.write(new Text(word), new IntWritable(1));
        }
    }
}

这里是MR程序,reducer阶段处理的类
keyin:就是reducer阶段输入的数据key类型,对应mapper的输出key类型 [在本案例中,就是单词,Text]
valuein:就是reducer阶段输入的数据value类型,对应mapper的输出value类型 [在本案例中,就是单词的次数,IntWritable]
keyout:就是reducer阶段输出的数据key类型 [在本案例中,就是单词,Text]
valueout:就是reducer阶段输出的数据value类型 [在本案例中,就是单词的总次数,IntWritable]

重写reduce方法
//这里是reduce阶段,具体业务类的实现方法
//reduce接收所有来自map阶段处理的数据之后,按照key的字典序进行排序
//<hello,1><hadoop,1><spark,1><hadoop,1>
//排序后:<hadoop,1><hadoop,1><hello,1><spark,1>
//按照key是否相同作为一组去调用reduce方法
//本方法的key就是这一组相同kv对的共同key

public class WordCountReduce extends Reducer<Text,IntWritable,Text,IntWritable> {
  //重写reduce方法
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
    //定义一个计数器
        Integer count = 0;
        //遍历一组迭代器,把每一个数量1累加起来就构成了单词的总次数
        for (IntWritable value : values) {
            count+=value.get();
        }
        //把最终的结果输出
        context.write(key, new IntWritable(count));
    }
}

这个类就是mr程序运行时候的主类,本类中组装了一些程序运行时候所需要的信息
比如:使用的是哪个Mapper类,哪个Reducer类,输入数据在哪,输出数据在哪

public class WordCountDriver{
    public static void main(String[] args) throws Exception{
    //通过job类来封装本次mr的相关信息
        Configuration conf=new Configuration();
        conf.set("yarn.resorcemanager.hostname","Hadoop01");
        conf.set("fs.deafutFS","hdfs://Hadoop01:9000/");
        Job job=Job.getInstance(conf);
        job.setJarByClass(WordCountDriver.class);
        
        //设置本次job是使用map,reduce
        job.setMapperClass(WordCountMap.class);
        job.setReducerClass(WordCountReduce.class);
        
        //设置本次map和reduce的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputKeyClass(IntWritable.class);
        
        //制定本次job读取源数据时需要用的组件:我们的源文件在hdfs的文本文件中,用TextInputFormat
        //job.setInputFormatClass(TextInputFormat.class);
        
        //制定本次job输出数据需要的组件:我们要输出到hdfs文件中,用TextOutputFormat
        //job.setOutputFormatClass(TextOutputFormat.class);
        
        //指定本次mr输入的数据路径和最终输出结果存放在什么位置
        FileInputFormat.setInputPaths(job,new Path("D:\\hadoop\\wordcount.txt"));
        FileOutputFormat.setOutputPath(job,new Path("D:\\hadoop\\wc\\output"));
        
        //提交任务,客户端返回
        job.submit();
        //核心代码:提交jar程序给yarn,客户端不退出,等待接受mapreduce的进度信息,打印进度信息,并等待最终运行的结果
        //客户端ture:的含义,等着
        //result:返回ture:则跑完了;false:出错了
        boolean result =job.waitForCompletion(true);
        System.exit(result ? 0 : 1);

    }
}