莫建祥的专栏

hadoop 实现了google的GFS，目前版本基本功能已经完成，负载均衡功能还没实现；master是单点，存在问题，需要增强http://hadoop.apache.org/core/docs/current/hdfs_design.html   

 适用点：    1 文件比较大，一般为100MB及以上    2 整个系统里文件的数目不超过1000万    3 适合写一次，读多次的方式，文件很少做修改，顶多是append方式    4 适合搜索引擎Build出来的Document 作为存储    5 适合历史归档文件的数据仓库存储 特点：    1： 单个Master, master上只存储文件和chunk的

MapDDB: 是一种按行关键字散列的分布式关系数据库系统，主要用于解决数据库系统的水平扩充系统。在真实的互联网业务应用系统中，经常会碰到由于业务规模的增长，导致原有系统的数据库处理能力跟不上业务规模的增长，一般情况下只能不停地升级硬件系统，如从PC服务器升级到小型机，再对小型机进行升级，到中大型机器，或使用数据库系统自带的多节点方式，如使用Oracle，则可以使用RAC+SAN的方式，但一个RA

<br />今天有空看了一下Megastore的原理，发现我在Alimail中设计的东西跟Megastore基本上是一样的，只是由于项目时间关系，没有时间变成SQL语句。如EntityGroups就相当于Partition，如MBoxGroups，ChildTable相当于逻辑子表，Alimail中的基于Key的Transaction相当于简化版的Transaction，符合ACID；PageIndex相当于Megastore中的LocalIndex.<br /> <br />目前Alimail中没有实现的

现实中，对于存储的需求基本上可以归为3类1： Offline数据分析用的数据，如网站的访问日志分析，Online数据库里的数据的统计分析这类数据的量一般很大，对于大型互联网站来说是PB级单位，一般使用类似Hadoop/Hive之类的技术来分析是Offline分析，对于响应时间要求比较低。对于这类数据的存储在设计的时候考虑使用SATA盘，每台机器配6～12块1（2）TB的SATA盘，由于单块SATA盘的顺序读写能力基本上可以达到60MB/s以上，所以系统设计的时候需要充分考虑磁盘的利用；最好的算法是单个磁盘同