老程序员专栏

分布式一致性Paxos算法学习笔记（三）前两篇学习笔记给出paxos算法较为详细的文字描述。如果对算法的两个阶段四个过程的定义还不太了解可以点击这里，这段文字出自夏超伦的论文，描述在算法的两个阶段里proposer、acceptor、learner三个角色需要完成什么工作。可惜小夏同学并没有描述得很详细，我在编码实现的时候发现有很多重要的细节没有提到，proposer pick a

ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper是Google的Chubby一个开源的实现.是高有效和可靠的协同工作系统.Zookeeper能够用来leader选举,

Brewer’s CAP Theoremby eric on 五月 25th, 2010Amazon和EBay一直在喝的酷爱(kool aid)饮料。by Julian Browne on 2009.1.11 （经Julian授权翻译此文，原文参见）1976年6月4号，周5，在远离音乐会大厅的一个楼上的房间内，在位于Manchester的Lesser Free Trade Ha

混合存储中Flashcache使用的误区以及解决方案Flashcache是facebook释放出来的开源的混合存储方案,用ssd来做cache提升IO设备的性能.很多硬件厂商也有类似的方案，比如说LSI raid卡. 但是这个方案是免费的软件方案，而且经过产品的考验，具体参见：主页：https://github.com/facebook/flashcache开源混合存储方案(Fla

1. 约定：a. ZooKeeper Server，[server1]的ip为192.168.1.201，[server2]的ip为192.168.1.202，[server3]的ip为192.168.1.203。b. [zk_dir]表示ZooKeeper的根目录，假设为/home/user/zookeeperc. [zk_data]表示ZooKeeper数据文件存放地址，假设为

zookeeper简介zookeeper是一个开源分布式的服务,它提供了分布式协作,分布式同步,配置管理等功能. 其实现的功能与google的chubby基本一致.zookeeper的官方网站已经写了一篇非常经典的概述性文章,请大家参阅:ZooKeeper: A Distributed Coordination Service for Distributed Applications在

分布式服务框架 Zookeeper -- 管理分布式环境中的数据许 令波, Java 工程师, 淘宝网简介： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文

发表于09-17 14:01|4647次阅读| 来源Highscalability.com|7 条评论| 作者Todd HoffFDS微软GoogleSDN数据中心摘要：随着VL2网络拓扑结构带来了对等带宽，大量数据可以存放在远方的数据中心，访问起来却犹如它们就在本地，这将对数据中心的架构产生重大影响。Todd Hoff参加了Hot Interconnects大会，对微软VL2架构做了

分布式一致性Paxos算法学习笔记（一）取名    Paxos（Greek: Παξοί, pronounced Paksi in English ）又名Paxi是希腊西南部一个风景如画的小岛。而Paxos算法则是现在很火的分布式一致性算法，为何以一个希腊小岛名字算法？Lamport这样解释道：I thought, and still think, that Paxos is an

1.环境：系统：centos5.5zookeeper:3.3.42.单机安装步骤：1)下载zookeeper:wget http://apache.etoak.com//zookeeper/zookeeper-3.3.4/zookeeper-3.3.4.tar.gz 2)解压：tar -xzvf  /usr/local/src/zookeeper-3.3.4.tar.g

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这 样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文将结合作者身边的项目例子，系统的对zk的使用场景进行归 类介绍。 值得注意的是，zk并不是生来就为这些场景设计，都是后来众多开发者根据框架的特性，摸索出来的典型使用

1.背景Gossip算法又被称为反熵（Anti-Entropy），熵是物理学上的一个概念，代表杂乱无章，而反熵就是在杂乱无章中寻求一致，这充分说明了Gossip的特点：在一个有界网络中，每个节点都随机地与其他节点通信，经过一番杂乱无章的通信，最终所有节点的状态都会达成一致。每个节点可能知道所有其他节点，也可能仅知道几个邻居节点，只要这些节可以通过网络连通，最终他们的状态都是一致的，当然这也是疫

zookeeper 的安装基本上可以按照 http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html 这个页面上的步骤完成安装，这里主要介绍下部署一个集群的步骤，因为这个官方页面似乎讲得并不是非常详细(Running Replicated Zookeeper)。由于手头机器不足，所以在一台机器上部署了3个serv

摘要：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于讨论Hado

Zookeeper全解析——Paxos作为灵魂原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Paxos，它是一个基于消

Redis zipmap内存布局分析Redis被称为key/value应用中的瑞士军刀，除了其丰富的数据结构支持，更重要的是高效的内存使用，分析源码可以发现作者使用每一个byte都精打细算。在hashtable实现中，Redis引入了zipmap数据结构，保证在hashtable刚创建以及元素较少时，用更少的内存来存储，同时对查询的效率也不会受太大的影响。下面就以源码和例子结合的方式来分析

从Shard到Sharding　　"Shard" 这个词英文的意思是"碎片"，而作为数据库相关的技术用语，似乎最早见于大型多人在线角色扮演游戏(MMORPG)中。"Sharding" 姑且称之为"分片"。　　Sharding 不是一门新技术，而是一个相对简朴的软件理念。如您所知，MySQL 5之后才有了数据表分区功能，那么在此之前，很多MySQL的潜在用户都对 MySQL 的扩展性有所顾虑

一、简介1.1Paxos算法处理的问题    Paxos 算法解决的问题是一个分布式系统如何就某个值(决议)达成一致。一个典型的场景是，在一个分布式数据库系统中，如果各节点的初始状态一致，每个节点都执行相同的操作序列，那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命令序列，需要在每一条指令上执行"一致性算法"以保证每个节点看到的指令一致。节点通信存在两种模型：共享内存（