QuitePig的专栏

LSM树是HBase里非常有创意的一种数据结构，它和传统的B+树不太一样，下面先说说B+树。1 B+树相信大家对B+树已经非常的熟悉，比如Oracle的普通索引就是采用B+树的方式，下面是一个B+树的例子：根节点和枝节点很简单，分别记录每个叶子节点的最小值，并用一个指针指向叶子节点。叶子节点里每个键值都指向真正的数据块（如Oracle里的RowI

CAP理论以及Eventually Consistent （最终一致性）解析(转)1 CAP理论简介 10年前，Eric Brewer教授指出了著名的CAP理论，后来Seth Gilbert 和 Nancy lynch两人证明了CAP理论的正确性。CAP（Consistency,Availability,partition tolerance)理论告诉我们，一个分布式系统不可能满足

Paxos算法Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。[1]问题和假设分布式系统中的节点通信存在两种模型：共享内存（Shared memory）和消息传递（Messages passing）。基于消息传递通信模型的分布式系统，不

分布式文件系统是当前云计算技术的重要组成部分。此篇博客简单介绍了文件系统由单机文件系统向分布式文件系统的演变，并列举出典型的各类文件系统。1、单机文件系统特点：用于操作系统和应用程序的本地存储。缺点：数据无法在个机器之间共享。典型代表：Ext2、Ext3、Ex4、NTFS、FAT、FAT32、XFS、JFS...2、网络文件系统（简称：NAS）特点：基于

DAS、NAS、SAN存储系统分析目前磁盘存储市场上，存储分类（如下表一）根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机，AS400等服务器，开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器；开放系统的存储分为：内置存储和外挂存储；开放系统的外挂存储根据连接的方式分为：直连式存储（Direct-Attached Storage，简称

现在的网站用户量都很大，一台服务器包打天下的时代一去不复返了，多台服务器就存在一个问题，如何将访问用户转向不同的服务器，并且各个服务器接受的请求数大致相当呢？这就是一致性hash算法要解决的问题。一致性hash算法在负载服务器（ngnix、haproxy等）、K/V 缓存系统memcache等 就有相关的实现。这类的文章比较多，摘抄一篇供大家学习。consistent hashing算法早

Eventually Consistent(最终一致性)分布式系统的CAP理论 CAP理论（data consistency, system availability, and tolerance），也就是数据一致性，系统可用性和网络分区容错性，在一个分布式系统中CAP是不能同时保证的，最多只能同时满足两个。如果一个系统不必考虑网络分区容错性，那么它可以同时取得数据一致性和可用性，这通

常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。常用字符串哈希函数有BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等。对于以上几种哈希函数，我对其进

分布式技术比较(RPC,CORBA,WebService)  1、RPC（Remote Procedure Call Protocol）RPC是由Sun发明的远程过程调用协议，是第一种真正的分布式应用模型。面向过程2、CORBA（Common Object Request Broker Architecture）CORBA从概念上扩展了RPC。用RPC开发的分布

深入浅出谈存储:如何区别NAS、SAN与DAS　　【IT168 技术】 上一篇《NAS是什么?》发表后，评论如雪花般飘来。这本是每位作者所乐意看到的，令我哭笑不得的是，多数读者只看了开头的笑话就留言走人了。唯有一位让我聊感欣慰，因为他说“/陈老师专题”里的几百兆图片他也有。还好“/陈老师专题”出现在文章的末尾。这悲剧也提醒了我，技术文档不要过度包装，再生动的语言也掩盖不了技术的晦涩。当

互联网分布式系统中，很多服务是数据存储相关的，海量访问量下，直接访问存储介质是抗不住的，需要使用cache，cache集群的负载均衡算法就成为一个重要的话题，这里对现有的负载均衡算法进行一些总结。BTW：虽然是Cache负载均衡算法小结，其实可以说是负载均衡算法小结，只是针对Cache应用场景罢了。负载均衡算法主要有：Static算法Random算法Round ro

文/曹伟Spanner的设计反映了Google多年来在分布式存储系统领域上经验的积累和沉淀，它采用了Megastore 的数据模型，Chubby的数据复制和一致性算法，而在数据的可扩展性上使用了BigTable中的技术。新颖之处在于，它使用高精度和可观测误差的本地 时钟来判断分布式系统中事件的先后顺序。Spanner代表了分布式数据库领域的新趋势——NewSQL。Spanner是Googl

Paxos在大型系统中常见的应用场景Wednesday, Sep 23rd, 2009 by Tim | Tags: chubby, paxos, zookeeper在分布式算法领域，有个非常重要的算法叫Paxos, 它的重要性有多高呢，Google的Chubby [1]中提到all working protocols for asynchronous consen