zzc1684的博客

环境及目标： - 系统：VMWare / Ubuntu 12.04 - Hadoop版本：0.20.2 - 我的节点配置 (完全分布式集群) Master (job tracker)  192.168.221.130 h1 Slave (task tracker/data node) 192.168.221.141 h2...

首先来了解一下HDFS的一些基本特性 HDFS设计基础与目标 硬件错误是常态。因此需要冗余 流式数据访问。即数据批量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理 大规模数据集 简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，即是文件一经写入，关闭，就再也不能修改 程序采用“数据就近”原则分配节点执行 HDFS体系结构 Name...

为什么会将Page Rank放在hadoop学习笔记里，是因为hadoop课程第一周就重点提到了Google当年三大论文（GFS, Map-Reduce和Big Table）以及hadoop思想的来源，并提到了page rank与Map-reduce解决方案下的PR算法，关于如何应用分布式计算来处理上万亿网页的Page rank的Map-reduce思想现在还没有搞清楚，在这之前，颇费了些周章...