hadoop
hanxuedog
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop中top-k问题解决
1.问题描述:在MapReduce中,想要输出最频繁出现的前k个单词。 问题输入:<单词,它出现的频率> 想要的输出:出现最多的前100个单词 例如,输入是: hello 3 word 4 a 4 moring 5 goog 10 bye 5...2013-03-07 14:28:31 · 406 阅读 · 0 评论 -
MapReduce:详解Shuffle过程(转)
源自http://langyu.iteye.com/blog/992916Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这...原创 2013-01-24 11:32:20 · 201 阅读 · 0 评论
分享