Hadoop官方内置了一些预置的MapReduce程序代码,我们无需编程,只需要通过命令即可使用。
常用的有2个MapReduce内置程序:
-
wordcount:单词计数程序。
统计指定文件内各个单词出现的次数
-
pi:求圆周率
通过蒙特卡罗算法(统计模拟法)求圆周率
一、查看Hadoop内置的MapReduce示例代码
1.
2.
3.这样我们可以看到内置的jar包
二、提交wordcount试例程序
- 我们可以先通过vim编辑器创建一个叫words.txt的文件
2.简单的写一点内容到里面去,通过空格分隔
3.首先通过命令查看hdfs文件系统
然后创建一个input和output的文件来使用
将words.txt上传到Hadoop上
上传完成之后我们来提交MapReduce程序
先找到我们的jar包的文件路径
回车提交到yarn中运行,可以去浏览器hadoop1:8088中查看
三、求圆周率
其中1000这个样本数越大求得值越准确,但是执行的越慢
这样我们将样本数加到10000