
++hadoop概念
小9
优秀是一种习惯
展开
-
hadoop概念(3)-MapReduce各个执行阶段及Shuffle过程详解
MapReduce各个执行阶段(1)MapReduce框架使用InputFormat模块做Map前的预处理,比如验证输入的格式是否符合输入定义;然后,将输入文件切分为逻辑上的多个InputSplit,InputSplit是MapReduce对文件进行处理和运算的输入单位,只是一个逻辑概念,每个InputSplit并没有对文件进行实际切割,只是记录了要处理的数据的位置和长度。(2)因为InputSpl原创 2017-10-21 16:51:30 · 10791 阅读 · 1 评论 -
hadoop概念(1)-了解MapReduce
MapReduce是什么?MapReduce是一种编程范式,可以利用集群环境的成千上万台服务器实现强大的可伸缩性。MapReduce一次最早源于函数式编程,由Google在一篇名为“MapReduce:Simplified Data Processing on Large Clusters”的文章中率先提出。使用MapReduce范式时,重点是编写两个函数:map()过滤和聚集原创 2017-10-19 16:22:11 · 989 阅读 · 1 评论