hadoop mapreduce csv

hadoop mapreduce csv

题目：有一个csv文件,记录了在网课中发言了的学生的名字和所在国家，要求：找到每个国家里有几个学生在这堂课上发言了。例：China：3。
测试文件长这个样子：

分析

这道题，本质上跟mapreduce的入门程序wordcount并没有什么区别，其实就是丢弃第一列（学生姓名），只需要保留国家名称就好，剩下的就跟wordcount是一样的了。对于我本人来说难点主要就是不熟悉csv文件，不好对csv文件进行处理。

关于csv文件

什么是csv文件-360百科

Java读取csv文件的多种方式

看了很多，依然不是很懂csv，只知道列是用英文逗号来分割的，行是用换行分割的，有研究的可以给我讲一下哈。所以就采取了一种投机取巧的办法。由于列是用英文逗号来分割的，不巧的是Name中也有英文逗号，巧的是每一个Name中都有，于是就采用逗号分割，将文件分割成三列，第三列就是Participati。将表头直接当作一行数据过滤掉。

WordCount程序代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;


public class WordCount {
   
    public static void main(String[] args) throws Exception {
   
        //1.创建配置对象
        Configuration conf = new Configuration();
        //2.创建操作对象
        Job job = Job.getInstance(conf, "WordCount");
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);
        //必须手动指定map的输出类型，除非与map的输出类型一致
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        //设置文件输入
        FileInputFormat.addInputPath(job, new Path("D:\\wc\\in"));
        //设置文件输出
        FileOutputFormat.setOutputPath(job, new Path("D:\\wc\\out"));
        //解决输出路径已经存在的问题
        FileSystem fileSystem = FileSystem.get(conf);
        Path outputPath = new Path("D:\\wc\\out");
        if (fileSystem.exists(outputPath)) {
   
            fileSystem.delete(outputPath, true);
        }

        //3.执行
        job.waitForCompletion(true);
    }
}
//两个阶段：Map，Reduce
//map:为了分块处理文件；reduce：聚合map的结果


    /**
     * keyIn:InputFormat读取文件后输入到Mapper中的key的类型，默认为LongWritable，TextInputFormat->RecordReader【LongWritable】
     * ValueIn：InputFormat读取文件后输入到Mapper中的value的类型Text【一行内容】
     * KeyOUT：自己从Map输出的key的类型【词频统计：Key可以使用word】
     * VALUEOUT:自己从Map输出的value的类型【词频统计：Value可以使用IntWritable，Longwritable】Hadoop有自己的序列化类型
     * Text->String,IntWritable->Integer
     * 序列化？
     * 将内存的东西序列化【写入，编程磁盘存储的东西：二进制】
     * 反序列化？
     * 将磁盘的东西读入内存的时候使用的一种转化方式
     */
      class WordCountMapper extends Mapper<LongWritable, Text