
hadoop
文章平均质量分 77
npu_wy
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记
下面我从逻辑实体的角度讲解mapreduce运行机制,这些按照时间顺序包括:输入分片(input split)、map阶段、combiner阶段、shuffle阶段和reduce阶段。输入分片(input split):在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个map任务,输入分片(input转载 2015-04-13 16:13:03 · 428 阅读 · 0 评论 -
PageRank算法简介及Map-Reduce实现
原文:http://www.cnblogs.com/fengfenggirl/p/pagerank-introduction.htmlPageRank对网页排名的算法,曾是Google发家致富的法宝。以前虽然有实验过,但理解还是不透彻,这几天又看了一下,这里总结一下PageRank算法的基本原理。一、什么是pagerankPageRank的Page可是认为是网页,表示网页排转载 2015-04-13 18:12:58 · 464 阅读 · 0 评论 -
Hadoop常见错误解决
原文地址:http://www.cnblogs.com/haoxinyue/archive/2013/06/06/hadoop.html1. 通过命令和查看日志文件查看hadoop启动和运行情况在NameNode端,可以通过tail -100 /var/log/hadoop/hadoop/hadoop-hadoop-namenode-hadoop-namenode.lo转载 2015-04-17 18:19:06 · 794 阅读 · 0 评论