Hadoop中WordCount例子的实现

最新推荐文章于 2020-03-13 14:03:24 发布

杨鑫newlfe

最新推荐文章于 2020-03-13 14:03:24 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：搜索引擎 Java 爬虫大数据挖掘与大数据应用案例

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/41080479

大数据挖掘与大数据应用案例同时被 3 个专栏收录

536 篇文章 ¥9.90 ¥99.00

订阅专栏

Java

427 篇文章

订阅专栏

搜索引擎

131 篇文章

订阅专栏

本文介绍了Hadoop中实现WordCount的详细步骤，包括Map和Reduce阶段，以及如何处理输入文件和跳过指定模式的单词。通过对输入文本进行分词并计数，展示了Hadoop的并行计算能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

//用Hadoop开源的计算包。
package heritrix;
import java.io.BufferedReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Set;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.util.StringUtils;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import com.sleepycat.je.log.FileReader;
public class WordCou