
分布式系统
文章平均质量分 92
思绪缥缈
这个作者很懒,什么都没留下…
展开
-
Spark架构与原理这一篇就够了
可扩展的分布式计算引擎。转载 2022-09-27 21:59:10 · 867 阅读 · 1 评论 -
分布式系统核心问题
分布式系统核心问题随着摩尔定律遇到瓶颈,越来越多情况下要依靠分布式架构,才能实现海量数据处理能力和可扩展计算能力。区块链系统,首先是一个分布式系统。传统单节点结构演变到分布式系统,碰到的首要问题就是一致性的保障。很显然,如果分布式集群无法保证处理结果一致的话,那任何建立于其上的业务系统都无法正常工作。本文将介绍分布式系统领域的核心问题,包括一致性、共识的定义,基本的原理和算法,另外还介绍了评估分布式系统可靠性的指标。一、一致性问题一致性问题是分布式领域最为基础也是最重要的问题。如果分布式转载 2020-08-26 16:43:23 · 1083 阅读 · 0 评论 -
分布式系统「数据一致性」
一、为什么需要事务 如果说「共识」解决的是「水平」问题,那么「事务」解决的是「垂直」问题。是如何让一条绳上的蚂蚱共同起舞? 事务只是一个计算机术语,而事务的体现形式其实在我们生活中也无处不在。任何我们认为应该是这样的事情,去确保它达到预期的过程就是「事务」。 往小了说,我们平时在走路的时候,向前摆动左手的同时抬右腿,如果不是这样的话就是不一致,别人会说你...转载 2018-11-09 13:20:18 · 336 阅读 · 0 评论 -
Zookeeper和分布式环境中的假死脑裂问题
最近和同事聊天无意间发现他们的系统也存在脑裂的问题。想想当初在我们的系统中为了解决脑裂花了非常大的功夫,现在和大家一起讨论下脑裂,假死等等这些问题和解决的方法。在一个大集群中往往会有一个master存在,在长期运行过程中不可避免的会出现宕机等问题导致master不可用,在出现这样的情况以后往往会对系统产生很大的影响,所以一般的分布式集群中的master都采用了高可用的解决方案来避免这样的情况发...转载 2018-11-07 13:28:04 · 487 阅读 · 0 评论 -
存储架构选型
http://stor.51cto.com/art/201711/556166.htmhttp://www.dostor.com/p/46706.htmlhttps://yq.aliyun.com/articles/86468http://lib.youkuaiyun.com/article/architecture/56352原创 2018-11-14 10:21:02 · 244 阅读 · 0 评论 -
CAP理论分析
分布式系统(distributed system)正变得越来越重要,大型网站几乎都是分布式的。分布式系统的最大难点,就是各个节点的状态如何同步。CAP 定理是这方面的基本定理,也是理解分布式系统的起点。本文介绍该定理。它其实很好懂,而且是显而易见的。下面的内容主要参考了 Michael Whittaker 的文章。一、分布式系统的三个指标1998年,加州大学的计算机科学家 Er...转载 2019-08-05 20:58:05 · 1289 阅读 · 0 评论