Zuoerfeng

2018.4.26分布式存储的数据类型有以下三类：非结构化的数据：主要是数据之间的关联系不大，像文本图片之类的数据结构化的数据：数据之间关联系很大，关系型数据库这种，可以用表进行表示的半结构化的数据：介于上述两种数据类型之间，数据之间的关系简单，典型的代码是html文件针对这几种不同的数据类型，分布式存储系统适合处理不同的类型的数据，将分布式存储系统划分为以下几种：分布式文件系统：...

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。本专栏主要从Zookeeper技术内幕和原理的角度深入Zookeeper内核。这里转载了一个csdn上zk的专题，博主讲述的非常清楚，zk的概念，zk的实现api及其应用场景。这里给出其每个单元链接：Zookeepe...

上一篇说明了paxos算法是如何实现数据一致性的，这一节我们来说明常见paxos的具体实际应用，这样可以更好的理解paxos的具体实现。1、Paxos应用一Chubby原理介绍Chubby是google提出的分布式锁服务，GFS和Big table等大型系统都可以用它来解决分布式写作、元数据存储和master选举等一些列功能。Chubby强大的锁功能，底层则是通过paxos分布式锁来实现的。...

文/phylips@bmy 分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一．google论文系列1.      google系列论文译序2.      The anatomy of a large-scale hypertextual...

上一篇讲述了两个经典的分布式一致性协议（2PC、3PC），这篇博客开始讲解paxos协议，paxos算法是目前公认的解决分布式一致性问题最有效的算法之一。1、起源拜占庭将军问题提及paxos协议的起源，首先得说说这个“拜占庭将军”问题，这个问题实际上是分布式数据一致性问题的一个抽象故事。故事中的通讯员就是所谓的通信信道，拜占庭故事的结局就是在这种情况下将军之间不可能接收到一个完全正确的决...

上篇上述了分布式系统的一些经典理论，即在设计分布式系统时候应该考虑的问题，那么本篇主要讲述分布式系统中数据的一致性，即数据在不同节点中如何保证一致性的问题。经典一致性协议，主要分为以下三个：二阶段提交协议——2PC三阶段提交协议——3PCpaxos算法下面就这三个协议做具体的分析与总结。1、二阶段提交协议——2PC分布式系统中同样有数据库中的事务的概念，当不同的节点处理一个事物操...

1、集中式与分布式集中式：80年代主流，IBM大型机，价格昂贵，性能卓越，部署简单，但是单机扩容较为困难。分布式：由多个普通pc机组成，分布在不同的网络上，通过消息传递进行通信和协调的系统分布式系统五gu大特点：分布性：多台计算机在空间上随意分布，机器分布也随时变动对等性：所有计算机节点都是对等的，没有主从之分并发性：多个节点可能并发的操作访问一些共享资源缺乏全局时钟：难以定义并发事...

2018.5.21今天对之前看的分布式存储的相关知识做一个总结，将之前做的笔记记录下来，目标是对分布式存储这块有一个宏观的了解，了解目前分布式存储常见的系统，总结都以问答的形式进行。1、什么是分布式存储通过大量普通的pc机连入互联网，对外提供统一的存储服务。2、分布式存储分为哪几类分布式文件系统：以文件的方式进行存储，对外提供文件的操作分布式键值系统：以kv存储，对外提供GUID操作...

上一篇讲了分布式系统的几种存储引擎的类型，这一章我们将分布式系统中的基础理论以及常见的分布式协议。分布式系统，顾名思义，数据是分布在不同的节点上，那么数据分布就是首先需要考虑的一点。1、数据如何均匀分布到不同的节点上，涉及到负载均衡2、为了保证数据的可靠些，需要对数据设置多个副本，那么如何保证副本之间的一致性3、节点是廉价的pc机，如果节点宕机，那么如何自动检测，并迁移数据分布式最...

这篇文章简单讲述下分布式消息队列的基础知识，不会太深入，因为类似MQ这样的分布式组件有很多不同的种类，都有各自的特征和其对应的应用场景，需要在实际应用中才能更加深入的理解。整篇文章按照，分布式消息队列基础知识->AMQP协议->RabbitMQ实例来概述。1、分布式消息队列基础知识消息要想弄清楚分布式消息队列的具体意义，首先得从什么是消息入手。消息即是信息的载体。为了让消息发...