本文深入解析MapReduce原理，涵盖Hadoop序列化、MapTask工作机制、CombineTextInputFormat切片、Partition分区、WritableComparable排序、Shuffle机制、ReduceTask工作流程、数据清洗案例、倒排索引案例及Yarn介绍，通过WordCount、小文件处理、Reducejoin、mapjoin等案例进行实操演示。
- MapReduce之入门概述以及WordCount 案例
- MapReduce之Hadoop序列化,MapTask 工作机制，CombineTextInputFormat 切片机制，Partition 分区，WritableComparable 排序
- MapReduce，MapTask工作流程，Combiner 合并以及二次排序GroupingComparator
- MapReduce之Shuffle机制以及小文件处理案例（自定义 InputFormat），OutputFormat 案例
- MapReduce之Reduce join以及map join分布式缓存
- MapReduce之数据清洗(ETL)案例,倒排索引案例,ReduceTask 工作机制,Hadoop 数据压缩简介
- MapReduce之压缩/解压缩案例以及Yarn介绍
- MapReduce实现寻找共同好友
MapReduce知识点学习
最新推荐文章于 2021-05-02 11:48:06 发布
扫一扫
435
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
