- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 学习Hadoop 中总结的资料
学习Hadoop 中总结的资料 http://www.aboutyun.com/thread-6455-1-1.html (出处: about云开发)
2014-02-19 16:42:25
525
转载 hadoop执行job时，如何解决map /reduce程序执行时卡住现象
阅读本文可以带着下面问题： 1.map /reduce程序卡住的原因是什么？ 2.根据原因，你是否能够想到更好的方法来解决？（企业很看重个人创作力） map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节
2014-02-19 16:38:40
2057
转载 hadoop中map和reduce的数量设置
一、mapred-default.xml 这个文件包含主要的你的站点定制的Hadoop。尽管文件名以mapred开头，通过它可以控制用户maps和 reduces的默认的设置。 下面是一些有用变量： 名字 含义 dfs.block.size 分布式文件系统中每个数据块的大小 （bytes） io.sort.factor 合并排序时每层
2014-02-19 16:32:30
841
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人