代码来源和参考来自:MapReduce编程实践(Hadoop3.1.3)_厦大数据库实验室博客
- 实验目的
1.学习MapReduce在Hadoop中的实现。
2.实践WordCount程序:通过实现WordCount程序,具体应用MapReduce编程思想,理解如何将文本数据作为输入,通过map和reduce函数进行单词计数,并输出最终结果。
- 实验环境
操作系统:Linux
环境版本:ubuntu-18.04.6
Hadoop版本:hadoop3.1.3
Java 版本:jdk-8u162-linux
Eclipse版本:4.7.0
虚拟机:VMware
- 实验步骤及结果
1.词频统计任务要求
首先,在Linux系统本地创建两个文件,即文件wordfile1.txt和wordfile2.txt
2.在Eclipse中创建项目
首先,启动Eclipse
并设置工作空间(workspace),点击“OK”按钮,打开eclipse界面,再选择“File-->New-->Java Project”菜单,开始创建一个Java工程