Hadoop 2.6 - WordCount

最新推荐文章于 2018-07-13 15:22:31 发布

原创最新推荐文章于 2018-07-13 15:22:31 发布 · 553 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用Hadoop 2.6自带的WordCount示例程序，完成基本的MapReduce作业。WordCount程序能够对指定目录下的文件进行分词，并统计每个单词出现的频率。

说明

对于Hadoop而言，WordCount 相当于其他编程语言的Hello World。本文通过运行Hadoop 2.6 自带的 wordCount 实例，完成一次入门级的 Map Reduce 作业。WordCount 即通过 Map Reduce 对输入中的内容进行分词并计算每个单词出现的次数。

WordCount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/wordcount

# /input/ : 输入路径，即对 HDFS 中 /input/ 路径下的所有文件进行WordCount
# /output/wordcount : 结果输出路径，如果 /output/wordcount 目录不存在，则会自动创建该目录； 同时，如果之前已经执行过一次该任务，下一次执行时要么删除之前的结果，要么更换输出路径。
# 否则，会报异常： FileAlreadyExistsException