大数据开发
关注
分享
扫一扫
J0han
学无止境，虚心求知。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
MapReduce编程规范
用户编写的程序需要分成以下三个部分： Mapper - 用户自定义的Mapper需要继承自己的父类 - Mapper的输入数据是KV对的形式（KV的类型可以自己定义） - Mapper中的业务逻辑写在map()方法中 - Mapper的输出数据也是KV对的形式 - map()方法（MapTask进程）对每一个<K,V>调用一次 Reducer - 用户自定义的Reducer需要继承自...原创 2019-05-22 16:15:37 · 271 阅读 · 0 评论 -
MapReduce的WordCount案例过程分析及实现
功能介绍：在给定的文本文件之中统计出每个单词出现的次数 实现流程分析 输入数据：test.txt 期望输出数据： monkey 2 pandas 1 tiger 2 owl 1 cat 1 dog 3 按照MapReduce编程规范编写程序 Mapper 将MapTask传给我们的文本内容转为String 将String切分为单独的单词 将每个单词输出KV对<单词,1> Re...原创 2019-05-23 22:20:44 · 3262 阅读 · 0 评论