超级会员免费看
本文详细介绍了如何在Hadoop集群上运行MapReduce的WordCount案例。首先，作者指出本地模式用于调试，真正的运行需要在集群上。接着，通过maven打包过程，讨论了依赖项的重要性，强调了`maven-assembly-plugin`在打包包含依赖的jar包中的作用。然后，展示了如何将jar包上传到集群，并修改程序以便通过参数指定输入输出路径。最后，通过实际操作，演示了集群上执行WordCount程序的步骤，包括查看HDFS文件、删除现有输出文件夹、监控MapReduce任务进度，并验证结果的正确性。
然后我们再来看让我们写的那个WordCount的,用java写的这个程序在hadoop的集群上运行.
怎么实现?
我们知道上一节,我们已经可以把我们的WordCount的MapReduce程序,我们自己写的,在idea中调试运行了,但是
我们想一下,我们的这个程序是在我们的集群上运行的吗?
很显然不是,我们的集群还没有打开来对吧,怎么运行,所以他是在本地执行的,
用的是hadoop支持的,本地模式.
那么接下来我们就去看看,我们怎么把我们写的WordCount的MapReduce程序,在我们搭建的hadoop集群上
运行.
jpsall 我们去看看我们的集群可以看到,没有执行对吧. 这个jpsall是之前我们封装的一个程序 可以帮我们直接
查看集群中所有的,机器的状态
可以看到我们的集群还没有开启呢
订阅专栏 解锁全文
扫一扫
317
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
