hadoop的wordcount代码

最新推荐文章于 2021-05-05 23:04:24 发布

guangxuzhang

最新推荐文章于 2021-05-05 23:04:24 发布

阅读量489

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/zhangguangxu98/article/details/109304809

版权

本文详细介绍了如何使用Hadoop实现WordCount程序，包括自定义的Mapper和Reducer类，用于统计输入文件中每个单词出现的次数。Mapper将每行文本分割成单词并输出，Reducer对相同单词的计数进行累加，最终输出每个单词及其总数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * 单词计数
 *
 * 需求：读取hdfs上的hell.txt文件，计算文件中每个单词出现的总次数
 * hello.txt文件内容如下：
 * hello you
 * hello me
 *
 * 最终需要的结果形式如下：
 * hello    2
 * me   1
 * you  1
 *
 * Created by xuwei.tech
 */
public class WordCountJob {
    /**
     * 创建自定义mapper类
     * 第一个LongWritable  K1代表每行行首的偏移量
     */
    public static class MyMapper extends Mapper<LongWritable,Text,Text,LongWritable>{
        /**
         * 需要实现map函数
         * 这个map函数就是可以接收k1,v1， 产生k2,v2
         * @param k1
         * @param v1
         * @param

最低0.47元/天解锁文章