1、MapReduce 开发流程
- 搭建开发环境,参考HDFS 环境搭建,基本一致
- 基于MapReduce 框架编写代码
- 编译打包,将源代码和依赖jar 包打成一个包
- 上传至运行环境
- 运行hadoop jar 命令,现已由yarn jar 替代,建议使用新命令提交执行
具体提交命令为:
yarn jar testhdfs-jar-with-dependencies.jar com.tianliangedu.driver.WordCount
/tmp/tianliangedu/input /tmp/tianliangedu/output3
- 通过yarn web ui 查看执行过程
web地址为:http://slave1:8088/cluster

执行后的结果:

2、代码实现
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.ha

本文详细介绍了如何使用MapReduce实现WordCount。首先讲解了MapReduce的开发流程,包括搭建开发环境、编写代码、编译打包、上传到运行环境以及通过YARN Web UI监控执行过程。接着,文章提供了具体的代码实现部分。
最低0.47元/天 解锁文章
2116

被折叠的 条评论
为什么被折叠?



