文武天下

看到一篇关于系统可伸缩性（可扩展）的文章，eBay的架构师Randy Shou

学习一个新技术，个人觉得先总体把握其架构思想，再进行实践，实践中体会反思，效果较好。现在继续上篇hadoop的安装和配置，来学习hadoop的架构和设计。先声明这是转过来的一篇比较老的博文，略加简化，便于复习。1. hadoophadoop是一分布式计算开源框架，最核心的是：Ma

Hadoop很火，不学不好意思。由于资料很多、书籍很多。本文简略介绍。1.安装ubuntu(或其他linux操作系统，或虚拟机上安装)2.安装jdk，并配置环境变量3.下载hadoop，解压。（http://hadoop.apache.org/，我下载了0.20.2）4.伪分布模

上文提到MapReduce、HDFS是Hadoop的主要内容。本文简略翻译了MapReduce:Simplified Data Processing on LargeClusters>，并对hadoop中org.apache.hadoop.mapreduce包的api分析，来概述MapReduce的思想。1.翻译部分MapReduce概念:MapReduce 是一个编程模型，处理和产生大数

前面总体上认识了HDFS，本文介绍HDFS的使用，主要是对其Java API的介绍，参考hadoop的在线api。1.web访问：http://localhost:50070,查看dfs、nodes。2.命令行调用格式：hadoop fs -command具体命令

使用实例：1.项目结构（引入包hadoop-0.20.2-core.jar和commons-logging.jar）2.代码HdfsCommon.javapublic class HdfsCommon { private Configuration co

MFS(MooseFS)是一个容错的、网络分布式文件系统，是GFS的开源实现。它把数据分散在多个物理机上，对外展现为一个整体资源。功能：

上篇为体验hadoop采用了伪分布模式配置，本篇为继续深究hadoop来大体把握具体实用中的分布式模式。本文实用VMware建了3个虚拟机运行ubuntu。分别为namenode whuqin1 192.168.64.143datanode whuqin2 192.168.64.144datanode whuqin3 192.168.64.1451.SSH(Secure She

一致性哈希哈希常用于分布式计算的负载均衡，如缓存服务器对数据的划分，对于目标资源O的请求使用hash(O) = O mod n来映射到其中一台。一个问题是：当增加或删除一台cache server时（n发生了变化），所有资源对应的hash值被相应的改变，致使所有的缓存都失效，cache server需要大量更新缓存

Dynamo是一个key-value数据存储系统，具有高ku