超级会员免费看
本文介绍了MapReduce编程模型及其在大数据处理中的应用，通过两个实例展示了MapReduce解决大规模数据问题的能力。详细阐述了MapReduce的体系架构，包括MRv1和MRv2的组件和工作流程，以及MapReduce作业的运行机制。同时，文章还讨论了MapReduce执行管道的主要组件，如驱动器、上下文、映射器和归并器等，并提到了序列化类型的重要性。
一、引入问题
问题1：100副牌，没有大小王，差一张牌，确定缺少的那张牌。
问题2：100GB网站访问日志文件，找出访问次数最多的IP地址。
二、MapReduce编程模型
MapReduce是一个分布式计算框架（编程模型），最初由由谷歌的工程师开发，基于GFS的分布式计算框架。后来Cutting根据《Google Mapreduce》，设计了基于HDFS的MapReduce分布式计算框架。
- Map
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
