Hadoop单词统计实验指南-优快云博客

一、搭建思路

1. 使用前期搭建好的伪分布式hadoop系统（单节点部署方案）作为Hadoop的基础环境平台，如果对前期Hadoop基础平台搭建不熟悉可以关注优快云的博客，有详细说明，详细地址如下：https://blog.youkuaiyun.com/arnoldmapo/article/details/104964971

2. 运用环境中自带Wordcount.java程序实现单词统计

二、单词统计实验步骤

3、开启Hadoop的服务进程

复制一段单词进去：This is a test，hello，Hadoop，my name is mp ， This is a test，hello，Hadoop，my name is mp ， This is a test，hello，Hadoop，my name is mp ， This is a test，hello，Hadoop，my name is mp ， This is a test，hello，Hadoop，my name is mp编辑成功

（2）在hdfs上建立一个输入文件夹input，用于上传源文件

使用命令：hdfs dfs -mkdir /input

（3）查看已经建立成功

使用命令：hdfs dfs -ls /

（4）上传本地文件mp.txt 到hdfs上input中

使用命令：hdfs dfs -put mp.txt /input

（5）查看已经上传成功

使用命令：hdfs dfs -cat /input/mp.txt

（6）在集群上运行 WordCount 程序

以 input 作为输入目录，output 目录作为输出目录（output不需要创建，需要自动创建）。

已经编译好的WordCount的Jar在 “/opt/hadoop/hadoop/share/hadoop/mapreduce/”下面，就是“hadoop-mapreduce-examples-2.8.3.jar”。

进入目录并查看，使用命令：cd /opt/hadoop/hadoop/share/hadoop/mapreduce/

（7）执行MapReduce进行单词统计

每次运行前请先删除输出目录，因为他是自动生成的；或者每次都创建一个新的目录，否则会运行失败。

使用命令：hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount /input /output

Hadoop 命令会启动一个 JVM 来运行这个 MapReduce 程序，并自动获得 Hadoop 的配置，同时把类的路径（及其依赖关系）加入到 Hadoop 的库中。以上就是 Hadoop Job 的运行记录，从这里可以看到，这个 Job 被赋予了一个 ID 号：job_1584846992304_0001，而且得知输入文件有1个（Total input files to process : 1）