会当凌绝顶 一览众山小

学习地址：http://blog.linezing.com/?p=959 1. 数据统计的需求 互联网上对于数据的统计，一个重要的应用就是对网站站点数据的统计，例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。 网站站点统计工具无外乎有以下一些功能： 1）网站流量统计：包括PV、UV、IP等指标，这些统计指标可以以趋势图的形式展...

最近项目中一个分布式应用碰到一些设计问题，听过上次技术沙龙key value store漫谈的同学可能会比较容易理解以下说明。场景假定一个有状态的服务，可以理解成web或者socket服务器，每个用户在这个服务上登录后是有状态的，我们把它的状态连同其他加载到内存的用户数据统称用户session。由于session数据实时会变化，加上程序访问session频率大，几乎所有的操作都跟sessi...

一、分布式系统的难点分布式系统比起单机系统存在哪些难点呢？1. 网络因素由于服务和数据分布在不同的机器上，每次交互都需要跨机器运行，这带来如下几个问题：1. 网络延迟：性能、超时同机房的网络IO还是比较块的，但是跨机房，尤其是跨IDC，网络IO就成为不可忽视的性能瓶颈了。并且，延迟不是带宽，带宽可以随便增加，千兆网卡换成万兆，只是成本的问题，但延迟是物理限制，基本不可能降低...

系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐，什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革，但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。正是通过这些尝试逐渐总结出了一些行之有效的数据库构建方法。在这篇文章里，我将针对NoSQL数据库的分布式特点进行...

当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。于是我们不得不对我们的服务器进行扩展，加入更多的机器来分担性能上的问题，以及来解决单点故障问题。 通常，我们会通过两种手段来扩展我们的数据服务：1）数据分区：就是把数据分块放在不...

摘要本文将会从实际应用场景出发，介绍一致性哈希算法（Consistent Hashing）及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景，借此介绍一致性哈希算法以及这个算法如何解决此问题；接下来会对这个算法进行相对详细的描述，并讨论一些如虚拟节点等与此算法应用相关的话题。分布式缓存问题假设我们有一个网站，最近发现随着流量增加，服务器压力越来越大，之前直...

背景说明分布式缓存中为了可用性及高性能的考虑，可以使用如下一种master/slave设计模式。图中的proxy是逻辑的概念，可以是基于client的包装实现，也可以是独立的proxy服务，但本文大部分是指独立的服务。几个主要的问题说明如下。为什么cache要使用两个集群((master/slave)来存放？主要出于可用性及高性能的考虑。传统的架构使用基于一致性哈希的分布式...

摘要：分布式系统需要在数据完整、一致性和性能间做平衡。本文系统介绍了处理分布式数据一致性的技术模型，如：Master-Slave，Master-Master，2PC/3PC，经典的将军问题，Paxos，以及Dynamo的NRW和VectorClock的模型。编者按：数据服务的高可用是所有企业都想拥有的，但是要想让数据有高可用性，就需要冗余数据写多份。写多份的问题会带来一致性的问题，而...

在分布式算法领域，有个非常重要的算法叫Paxos, 它的重要性有多高呢，Google的Chubby [1]中提到all working protocols for asynchronous consensus we have so far encountered have Paxos at their core.关于Paxos算法的详述在维基百科中有更多介绍，中文版介绍的是ch...

一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效了，如果是持久化存储则要做数据迁移，如果是分布式缓存，则其他缓存就失效了。    因此，引入了一致性哈希算法： 分布式缓存设计...

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zook...

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文将结合作者身边的项目例子，系统的对zk的使用场景进行归类介绍。 值得注意的是，zk并不是生来就为这些场景设计，都是后来众多开发者根据框架的特性，摸索出来的典型使用...

什么是Paxos算法？ Paxos算法是分布式计算领域中一个非常重要的算法，主要解决分布式系统如何就某个值（决议）达成一致的问题。一个典型的场景是分布式数据库的一致问题：如果分布式数据库的各个节点初始状态一致，又能执行相同的操作序列，那么最后能达到一个一致的状态。但是如何保证在每个节点上执行相同的命令序列呢？这就需要在每条指令上执行一个“一致性算法”以保证每个节点看到的指令一致。Pax...

转载学习地址：http://www.cnblogs.com/Creator/p/3189758.html 对于一个7*24小时无间断的线上服务来说，在服役时间内难免会遇到一些fail，例如db断开连接且短暂连接不上了, 下游的某个节点忽然挂了，运维部署上依赖的某一个东西不存在了等等场景。本文主要来讨论一下这些场景使用怎样的策略会比较好。　　最简单的方法，While(true) + ...

秒杀系统涉及到的知识点： A, 高并发，cache，锁机制  B, 基于缓存架构redis,Memcached的先进先出队列。 C, 稍微大一点的秒杀，肯定是分布式的集群的，并发来自于多个节点的JVM，synchronized所有在JVM上加锁是不行了 D, 数据库压力 E, 秒杀超卖问题 F, 如何防止用户来刷， 黑名单？IP限制？ G...

转载学习地址：http://www.cnblogs.com/sharpxiajun/archive/2013/05/11/3072798.html 网站的B/S技术架构图 在传统B/S架构的企业管理系统里，技术架构往往就是一个工程项目，各个逻辑分层都是该工程的业务逻辑模块。但是作为提供公共服务的网站，由于用户群比较庞大，网站并发量高，需求变化大，变更频繁以及网站出于对安全的考虑...

注：本篇所有架构图，服务框架理论知识均来源于互联网。  知识点：远程调用服务的技术原型就是SOA（Service-Oriented Architecture）   网站架构总图远程调用架构图：     远程调用管理组件是一个独立的服务系统，为了保证该系统的稳定性，它也一定是一个分布式的系统，但是这个分布式系统和Web的分布式系统是完全不同的分布式系统，传统W...

GFS的系统架构 刘鹏《云计算（第二版）》 ①~⑤是控制流，⑥是数据流Client： 应用程序的访问接口Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据（Metadata，描述数据的数据），负责整个文件系统的管理。Chunk Server（数据库服务器）：负责具体的存储工作。数据以文件的形式存储在Chunk Server上。 ...