Hadoop词频统计

最新推荐文章于 2024-06-30 17:10:23 发布

Passerby...

最新推荐文章于 2024-06-30 17:10:23 发布

阅读量2k

点赞数 2

CC 4.0 BY-SA版权

文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/m0_48336350/article/details/111830708

这篇博客详细介绍了如何在已安装Hadoop和JAVA环境的条件下，进行词频统计的实践操作。首先，需要新建文本文件并制作JAVA代码的jar包。在Eclipse或IDEA中导出Runnable JAR file，然后将jar包上传到Hadoop服务器。接着，在Hadoop上创建文件夹，导入文本文件，并运行jar包进行词频统计。最后，检查运行结果以验证统计过程的成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提

已安装Hadoop下的两个组件HDFS和Mapreduce。

已安装JAVA语言编译软件Eclipse或IDEA。

新建一个任意内容的文本文件。

制作jar包

编写JAVA代码。

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
   
   
    public WordCount() {
   
   
    }
     public static void