
分布式
文章平均质量分 93
分布式个人学习笔记
凌桓丶
现腾讯边缘存储研发工程师,前字节跳动流式计算研发工程师、优快云博客专家。
展开
-
ZooKeeper ZAB协议:崩溃恢复、消息广播
文章目录ZAB协议消息广播崩溃恢复ZAB协议ZAB(ZooKeeper Atomic Broadcast 原子广播) 协议是为分布式协调服务ZooKeeper专门设计的一种支持崩溃恢复的原子广播协议。 在ZooKeeper中,主要依赖ZAB协议来实现分布式数据一致性,基于该协议,ZooKeeper实现了一种主备模式的系统架构来保持集群中各个副本之间的数据一致性。ZAB协议包括了两种基本的模式,分别是崩溃恢复和消息广播。消息广播为了保证集群中存在过半的机器能够和Leader服务器的数据状态保持一原创 2021-07-08 21:38:06 · 1290 阅读 · 4 评论 -
分布式系统中的一致性模型
一致性模型本质上是进程与数据存储的约定:如果进程遵循某些规则,那么进程对数据的读写操作都是可预期的。原创 2022-04-15 14:00:00 · 4980 阅读 · 0 评论 -
分布式系统概念 | 分布式时钟:物理时钟、逻辑时钟、Lamport 时间戳、向量时钟、版本向量
分布式系统概念 | 分布式时钟:物理时钟、逻辑时钟、Lamport 时间戳、向量时钟、版本向量原创 2022-04-12 15:12:34 · 4304 阅读 · 0 评论 -
散布谣言也能实现一致性?来看看Gossip协议如何活用六度分隔理论
Gossip协议(Gossip Protocol)又称Epidemic协议(Epidemic Protocol),是基于谣言传播方式的节点或者进程之间信息交换的协议,在分布式系统中被广泛使用,比如我们可以使用Gossip协议来确保网络中所有节点的数据一致。原创 2021-05-13 15:30:05 · 835 阅读 · 6 评论 -
分布式系统概念 | 分布式ID:数据库、号段模式、雪花算法(Snowflake)、Redis实现方案
文章目录数据库号段模式雪花算法Redis数据库号段模式雪花算法Redis原创 2021-04-06 18:02:22 · 2443 阅读 · 1 评论 -
分布式系统概念 | 一致性协议:拜占庭将军问题、Paxos、Raft
文章目录拜占庭将军问题Paxos问题描述执行过程Prepare阶段Accept阶段Learner获取提案活锁问题Raft状态机执行流程主节点选举数据同步拜占庭将军问题拜占庭位于如今的土耳其的伊斯坦布尔,是东罗马帝国的首都。由于当时拜占庭罗马帝国国土辽阔,为了达到防御目的,每个军队都分隔很远,将军与将军之间只能靠信差传消息。在战争的时候,拜占庭军队内所有将军和副官必须达成一致的共识,决定是否有赢的机会才去攻打敌人的阵营。但是,在军队内有可能存有叛徒和敌军的间谍,叛徒可以任意行动以达到以下目标:欺骗某些原创 2021-03-11 14:06:04 · 2500 阅读 · 6 评论 -
分布式系统概念 | 分布式锁:数据库、Redis、Zookeeper解决方案
文章目录分布式锁数据库唯一索引RedisSETNX、EXPIRERedLock算法Zookeeper实现原理羊群效应改进方法总结分布式锁随着互联网技术的不断发展、数据量的大幅增加、业务逻辑的复杂化导致传统的集中式系统已经无法应用于当前的业务场景,因此分布式系统被应用在越来越多的地方,但是在分布式系统中,由于网络、机器(如网络延迟、分区,机器宕机)等情况导致场景更加复杂,充满了不可靠的情况。为了保证一致性,在这种情况下我们就需要用到分布式锁。那么分布式锁需要具备哪些条件呢?获取、释放锁的性能要原创 2021-03-02 16:44:36 · 455 阅读 · 2 评论 -
分布式系统概念 | 分布式事务:2PC、3PC、本地消息表
文章目录Paxos算法Raft算法Paxos算法Raft算法原创 2021-02-17 20:56:45 · 631 阅读 · 0 评论 -
分布式存储与一致性哈希
文章目录分布式存储简单哈希一致性哈希虚拟节点分布式存储如果我们需要存储QQ号与个人信息,建立起<QQ, 个人信息>的KV模型。假设QQ有10亿用户,并且每个用户的个人信息占据了100M,如果要存储这些数据,所需要的空间就得(100亿* 100M) = 10WT,这么庞大的数据是不可能在单机环境下存储的,只能采用分布式的方法,用多个机器进行存储,但是即使使用多机,这些数据也至少要10w台机器(假设每台服务器存1T)才能存储。并且我们还需要考虑,如何将这10w台机器与我们的数据建立起映射关原创 2020-09-22 12:26:01 · 1197 阅读 · 2 评论 -
分布式系统概念 | 分布式理论:CAP、BASE
文章目录CAP定理BASE理论CAP定理一个分布式系统不可能同时满足一致性(Consistency)、可用性(Availability)、分区容错性(Partition Tolerance)这三个基本需求,最多只能满足其中的两项,不可能三者兼顾。一致性:在分布式系统中的所有数据副本,在同一时刻是否一致(等同于所有节点访问同一份最新的数据副本)可用性:分布式系统在面对各种异常时可以提供正常服务的能力(非故障的节点在有限的时间内返回合理的响应)分区容错性:分布式系统在遇到任何网络分区故障的时候,仍原创 2021-01-30 21:38:39 · 485 阅读 · 0 评论