如何使用Hadoop在Ubantu18.04上运行WordCount？

前置条件

• 在Linux上安装Hadoop
• 启动Hadoop 

./sbin/start-dfs.sh 

操作步骤

（1）使用"jps"查看java虚拟进程

（2）创建test1

hdfs dfs -mkdir /test1

mkdir命令用来在指定的path中新建子目录。其中，创建位置path可采用URI格式进行指定。该命令功能与Linux系统的mkdir相同，允许一次创建多个子目录。一般格式如下：

 hadoop fs -mkdir [-p]

其中，-p选项表示创建子目录时先检查路径是否存在，若不存在则同时创建相应的各级目录。

(3) 查看test1是否创建成功

hdfs dfs -ls /

 (4)在主目录下创建一个data.txt文件，填充文本（可自定）

 （5）将data.txt的数据上传到HDFS的test1中

hdfs dfs -put ~data.txt /test1

再次使用 hdfs dfs -ls /检查数据是否传输成功

 

（6）运行WordCount程序

hadoop jar [hadoop-mapreduce-examples的地址].jar wordcount /test1/data.txt /test/out

可以试着按照截图中的路径找hadoop-mapreduce-examples的地址

 （7） 查看结果所在文件

从上图中知道生成了三个文件，我们的结果在"part-r-00000"中 

（8）查看结果输出文件内容

hdfs dfs -cat /test/out/part-r-00000

  

 HDFS dfs 操作命令

点击查看

问题集锦

1)查看解决方法

 2）输入文件缺少斜杆