Hadoop与Spark算法分析（一）——WordCount

最新推荐文章于 2023-05-14 17:57:55 发布

原创

最新推荐文章于 2023-05-14 17:57:55 发布 · 1.5k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文详细分析了Hadoop和Spark实现WordCount算法的过程，包括Hadoop的map和reduce阶段，以及Spark简洁的代码实现。通过上传文件到HDFS，运行并对比Hadoop和Spark的执行命令及结果，探讨两者在大数据处理上的差异。

WordCount是大数据编程的入门程序，实现对输入文件中每个单词出现次数的统计，可应用于海量文本的词频检索。过程如下图所示：

1. Hadoop实现

map过程调用map函数以文件中每行首个字符的偏移量和整行值为输入参数，将值进行单词的拆分，并最终输出（单词，1）的键值对。
reduce过程从各Map端收集得到（单词，列表（1,1，…1））键值对，通过对值列表相加计算单词主键的出现频数，最终得到（单词，频数）键值对。
具体代码实现如下：

package org.hadoop.test;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {
   
   
    public static class TokenizerMapper