MapReduce
Alaskyed
辣白菜
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop(11) MapReduce-4 分组和OutputFormat
Hadoop(11) MapReduce-4 分组和OutputFormat分组(GroupingComparable)GroupingComparable介绍GroupingComparable作用GroupingComparable是在Reduce阶段, 在数据进入Reducer之前, 对数据进行一个或几个字段的分组(默认是key相同的数据为同一组), 然后使数据分组次进入Red...原创 2020-04-02 10:03:26 · 288 阅读 · 0 评论 -
Hadoop(10) MapReduce-3 分区, 排序和合并
Hadoop(10) MapReduce-3 分区, 排序和合并分区(Partition)分区的介绍分区的作用之前我们介绍过, 每个分区对应一个ReduceTask, 如果所有MapTask的结果都由一个ReduceTask来汇总, 会很慢, 所以对MapTask的内容进行分区, 交由不同的ReduceTask来执行分区发生的时间在map()方法执行时, 会将文件写入一个临时缓存,...原创 2020-04-01 08:40:35 · 643 阅读 · 0 评论 -
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat文章目录Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormatInputFormat切片和提交的过程InputFormat介绍FileInputFormat机制及其实现类FileInputFormat介绍源码中计算大小的公式FileInputForm...原创 2020-04-01 08:38:47 · 281 阅读 · 0 评论
分享