hadoop入门【6】java完成自定义的词频统计

最新推荐文章于 2024-01-02 17:04:28 发布

万和IT教育

最新推荐文章于 2024-01-02 17:04:28 发布

阅读量818

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop入门文章标签： hadoop HDFS 词频统计分布式大数据

本文链接：https://blog.youkuaiyun.com/qq_41717874/article/details/90784267

本文介绍如何在Java中实现自定义的Hadoop词频统计。首先回顾了系统、软件及前提条件，包括java访问HDFS的步骤。接着详细说明了操作过程：在已有的Java访问HDFS项目中添加测试类，打包成wordcount.jar并上传到Hadoop的Linux服务器，最后执行相关命令完成词频统计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上一篇文章我们测试了hadoop自带的词频统计，本节将使用java完成自定义的词频统计。

1 系统、软件和前提约束

完成java访问HDFS服务
https://www.jianshu.com/p/386cd966c04f
测试了hadoop自定义的词频统计
https://www.jianshu.com/p/327d2af3903d

2 操作

1 在java访问HDFS的那个项目中，加入以下的测试类：

package net.wanho.mr;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
    public static void main(String[] args)