
【大数据工程师之路】
ladygaga1999999
这个作者很懒,什么都没留下…
展开
-
【大数据工程师之路】Hadoop——MapReduce概述
一、概述。 MapReduce是一种可用于数据处理的编程模型。Hadoop可以运行由各种语言编写的MapReuce程序。MapReduce分为Map部分和Reduce部分。二、MapReduce的机制 MapReduce分为几大过程input、Map、shufle、reduce、output1、input阶段是指将原始文件原创 2015-08-13 20:50:56 · 2307 阅读 · 0 评论 -
【大数据工程师之路】Hadoop——概述
一、Hadoop来历 在没有Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明了倒排索引算法,通过加入了Map-reduce的思想来计算Page Rank,通过不断的演变Google带给我们了GFS、Map-Reduce、Bigtable这三大的关键技术和思想。由于Google原创 2015-02-23 16:26:21 · 11526 阅读 · 5 评论