Hadoop编程 实现统计单词词频并找出词频最高的单词（hadoop3.1.1 Centos7）

 

不能盲目寻找一些技术博文来浏览，非常浪费时间，最靠谱的方式莫过于官方文档

hadoop3.1.1 运行词频统计的官方指导文档如下：

https://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

按照文档所提示的内容主要可分为以下几个步骤：

1.配置/etc/profile

export JAVA_HOME=/usr/java/default
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

2.将程序移至 hadoop-X.X.X目录下，打包成wc.jar ,执行以下命令

$ bin/hadoop com.sun.tools.javac.Main WordCount.java
$ jar cf wc.jar WordCount*.class

3.运行jar文件，后面为两文件在HDFS中的绝对路径，参数的设置取决于程序

 bin/hadoop jar wc.jar WordCount /user/joe/wordcount/input /user/joe/wordcount/output