
Hadoop
iteye_11325
这个作者很懒,什么都没留下…
展开
-
(转)Hadoop学习笔记
原文参见 http://www.distream.org/?p=384 应用开发 主要知识点如下:Configuration类(支持overwrite,variable $)测试(mock单元测试,本地测试,集群测试) Tool, ToolRunner 集群测试(package, 启动job, Job web UI for namenode and ...原创 2013-11-06 17:48:46 · 163 阅读 · 0 评论 -
(转)关于Hadoop的shuffle
源地址: http://blog.youkuaiyun.com/tobeandnottobe/article/details/7188747 我们知道每个reduce task输入的key都是按照key排序的。 但是每个map的输出只是简单的key-value而非key-valuelist,所以洗牌的工作就是将map输出转化为reducer的输入的过程。 在m...原创 2013-12-02 14:45:39 · 123 阅读 · 0 评论 -
(转)hadoop 从secondarynamenode 恢复namenode
原文地址:http://www.blogjava.net/hello-yun/archive/2012/07/27/384132.html 光 从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其 实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途...原创 2014-06-11 13:25:53 · 272 阅读 · 0 评论