分布式系统原理-笔记

《分布式系统原理与范型(第二版)》复习资料 分布式系统原理与范式 第二版 2008年版本 与原教材无缝吻合,极好的辅助学习资料 立即下载

数据分布协议:使用维度各有利弊
哈希(更新起来要成倍迁移)
一致性哈希(环哈希,易实现负载均衡)
数据量(元数据多,类似B树的中间节点)
数据范围(也是元信息多)

基本副本协议:
中心化(primary-secondary)(中心节点负责维护数据的更新、并发控制、协调副本的一致性)
去中心化
一个节点向另一个节点发起RPC的状态有成功,失败和超时

lease机制,最重要的分布式协议,重要的应用在于判定节点状态。通过颁发一个有效期,经验证通常为10s,并且通常中心节点互为副本,成为一个小的集群,具有高可用性,对外颁发lease。

primary-secondary架构:
只允许有一个primary,Q为Master节点,A为当前primary节点。
心跳包的缺点:一个节点Q超过一定时间接受不到A的心跳则认为异常,但其实有可能是Q与A之间的网络中断,网络拥塞,或者Q异常,也就是Q认为A有问题,但A不认为自己有问题。
此时Q将primary分配给B,并通知所有节点primary为B。
但由于通知的顺序问题可能或出现双primary问题,双主问题会出现严重的数据错误。

分布式协议依赖于对节点状态认知的全局一致性,即一旦节点Q认为节点A异常,那么A也需要认为自己异常,从而停止作为primary
改进:A,B,C节点还是通过心跳给Q传递信息,给每个节点颁发lease,给primary节点颁发特殊的lease。
分布式协议可以容忍双主错误,即不依赖于对节点状态的全局一致性的认知。(去中心化)

我们现在依赖于Zookeeper这样的开源的高可用系统,简单的实现高效的、无单点选主的、状态监控、分布式锁、分布式消息队列等功能。依赖于zookeeper与client之间的lease。

日志技术:常用于分布式数据库
redo log幂等性 具有check point
undo log
redo/undo log
no redo/no undo log也称为是0/1目录

两阶段提交协议:
经典的强一致性中心化副本控制协议
在分布式数据库上,有一些副本可以顺利提交,但有一些可能会失败
两阶段涉及的对象有一个中心化的协调者节点和N个参与者节点,参与者节点也就是管理副本的节点
第一阶段:协调者询问所有的参与者是否可以提交事务,所有参与者向协调者投票
第二阶段:协调者根据所有参与者的投票结果做出是否事务可以全局提交的决定,并通知所有参与者执行这个决定(只要有一个参与者不OK那就放弃,选择放弃(abort)事务)
协调者宕机恢复 如果最后是begin_commit,则说明宕机前协调者处于wait状态,因此重新发送prepare消息即可。如果最后是global_commit或者是global_abort,那么重新发送global_commit或者是global_abort即可继续两阶段提交流程
参与者宕机恢复 如果是init则等待协调者发来的prepare消息即可,如果是ready那么是vote_commit,如果是global_xx,则不影响等待协调者发过来即可
容错差,易阻塞,交互太多很麻烦,理论意义大于实践意义

MVCC:多版本并发控制技术
使用的方法有复制,也就是类似SVN的check out操作
还有增量,也就是类似SVN的增量提交
事务靠日志或者是MVCC技术实现
时间戳,ID序列号,还有版本合并,如果这个版本没有修改过对应版本修改过的数据,那么可以进行合并。

Paxos
高可用,强一致性的去中心化的分布式协议
拥有一组完全对等的参与节点,他们就某一件事作出决议,如果该决议获得了超过半数节点的同意则生效。
只要有超过一半的节点正常,就可以工作,能很好的对宕机,网络分化等异常情况。

WARO与Quorum
WARO所有副本更新成功才可以成功
Quorum大部分更新成功即可

补新学到的心跳出血bug:是指每次服务器端传输心跳包结果时,由于使用的是内存复制,如果客户端在确认存活时要求服务器端发送xx字节的文件,服务器端可能会造成信息泄漏,也就是将自身内存中非心跳包响应的部分一并传出去。解决方案就是在服务器端设置忽略客户端的xx字节请求,使用自己默认的心跳包大小即可。

《分布式系统原理与范型》.pdf 《分布式系统原理与范型》第一版.中文版,影印版。 立即下载

相关推荐

分布式系统原理与泛型

本书是Tanenbaum先生对所著的《分布式操作系统》的升级更新,是分布式系统的权威教材。全书分为两部分:原理和范型。第一部分详细讨论了分布式系统的原理、概念和技术,其中包括通信、进程、命名、同步、一致性和复制、容错以及安全。第二部分给出了一些实际的分布式系统:基于对象的分布式系统、分布式文件系统、基于文档的分布式系统以及基于协作的分布式系统,介绍了一些实际系统的设计思想和实现技术。全书结构清晰,内容全面经典,系统性与先进性并茂。

分布式系统设计系列 -- 基本原理及高可用策略

分布式系统设计系列之 -- 基本原理及高可用策略篇 这篇文章主要介绍一些入门的概念和原理,后面带来一些高可用、数据分布的实践方法!

曦轩 技术茶话小屋 3万+

分布式系统-原理与范型(第2版)

分布式系统-原理与范型(第2版) 分布式系统-原理与范型(第2版) 分布式系统-原理与范型(第2版) 分布式系统-原理与范型(第2版)

分布式系统原理

一、分布式系统基础重要要点: 对外提供无状态节点,内部实现具体有状态或者无状态节点逻辑,节点即可以是提供服务,也可以是存储数据。 拜占庭问题,在分布式系统中的使用,目的是保证服务可用,而不是找出错误的节点,如果。 异常常见情况,机器宕机、网络异常、消息丢失、消息乱序、数据错误、不可靠的TCP。可能是收到消息后宕机、也可能是处理完成以后机器宕机、处理完成任务后发送确...

weixin_30267691的博客 407

PX4|Gazebo模型加载失败排查指南:从环境变量到资源路径的全面解析

本文针对PX4与Gazebo联合仿真中常见的'Unable to get model name'错误,提供了从环境变量配置、资源路径排查到网络访问问题的全面解决方案。详细解析了GZ_SIM_RESOURCE_PATH等关键变量的作用与设置方法,并给出了离线模型库部署等一劳永逸的修复指南,帮助开发者彻底解决无人机模型加载失败问题。

weixin_29243063的博客 1230

ESP32 开发实战:VS Code 头文件波浪线及编译错误的终极解决方案

本文针对ESP32开发者在VS Code中常见的头文件红色波浪线和fatal error编译错误,提供了终极解决方案。通过详细讲解如何配置c_cpp_properties.json文件来修复编辑器智能提示,以及如何修改CMakeLists.txt来修正编译器路径,帮助开发者彻底解决环境配置问题,提升开发效率。

prometheus9mon的博客 295

分布式系统原理与范型_分布式系统以及CAP原理

分布式系统以及CAP原理文章首发于微信公众号:大数据每日哔哔。文章:分布式系统以及 CAP 原理● 本文主要分为以下几个部分: 什么是分布式系统 对 CAP 的一点理解 一点总结 参考文献 扩展阅读一、什么是分布式系统?关于分布式系统的定义,《分布式系统原理和范型》一书中是这样定义分布式系统的:“分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像是单个系统”。 (图片选自《分布式系统常用...

weixin_39988677的博客 1055

如何理解反步法设计控制器?

假设以二阶系统为例,被控对象的系统状态方程为: 基于反步控制的具体方法如下: 1.1步骤一 定义期望状态为xd,状态误差e1,为: e1=x1-xd; 则e1的导数为: 1.2步骤二 定义虚拟控制量为: e2定义为: 1.3步骤三 定义Lyapunov能量函数为: 1.4步骤四 定义总Lyapunov能量函数为: 因此设计的控制律为: 设计c>0,则: 满足Lyapunov的稳定性判定条件...

weixin_42736130的博客 2万+

分布式系统原理与范型——体系结构

体系结构

多头注意力探索Now 1145

全球AI算力最强公司分析报告

全球AI算力最强公司分析报告显示,Google凭借自研TPU技术和庞大数据中心网络位居榜首,拥有约100万至150万块等效H100 GPU算力。微软、Meta和亚马逊紧随其后,分别拥有75万、55万和25万块等效H100 GPU。中国企业中,百度、阿里巴巴和腾讯表现突出,华为在国产AI芯片领域领先。技术指标上,NVIDIA H100相比A100性能显著提升,但功耗也大幅增加。未来AI算力需求将持续激增,预计2028年全球市场将超2000亿美元。新兴挑战者如xAI可能改变竞争格局。

MyySophia的博客 5729

对西安交大轴承数据集XJTU-SY_Bearing_Datasets进行读取和处理:

故障诊断,对西安交大轴承数据集XJTU-SY_Bearing_Datasets进行读取和处理

qq_44757503的博客 6069

《分布式系统原理与范型》第二版笔记

书籍的获取渠道: 1、购买;2、search in the net。 第一章 1、分布式系统定义 分布式系统是若干独立计算机的集合,这些计算机对于用户来说就好像是单个相关系统。   a:机器本身是独立的,b:对于用户来说就像是与单个系统打交道。(缺一不可)  特性:1、各种计算机之间的差别以及计算机之间的通信方式的差别对用户是隐藏的。(用户透明)

急速虫子 3530

算法 | 基于灰狼优化算法的无人机三维路径规划方法研究(附matlab代码)

针对复杂环境下的无人机三维路径规划问题,本文提出一种基于灰狼优化算法(Grey Wolf Optimizer, GWO)的解决方案。通过模拟灰狼群体的社会等级与协作捕猎机制,结合动态参数调整策略,优化路径长度与避障性能。实验表明,相较于粒子群优化(PSO)和遗传算法(GA),GWO算法在收敛速度与路径成本上分别提升约25%和18%,且在三维城市地形中表现出更强的避障鲁棒性。本文提供完整的MATLAB代码实现,为无人机自主导航提供理论与技术支撑。

尘世冰封的专栏 288

分布式系统原理与范性 笔记

分布式系统原理与范性 定义 分布式系统是若干的独立计算机的集合,这些计算机对于用户来说就像是单个相关的系统。 分布式系统的两个重要特性个计算机之间的差别以及计算机之间的通信方式的差别对用户是隐藏的。 用户和应用程序无论在何时何地都能够以一种一致和统一的方式与分布式系统进行交互。 为什么要构建一个分布式系统 四个关键需求使资源可访问:分布式系统的最重要目标是使用户能够方便的访问远程资源, 并且以一种受

LIUXINKUN的专栏 1231

数学之美:欣赏超越数e

文章目录一、e为何物?二、利息与e的关系1、利息问题2、计算利息3、欣赏螺旋线(1)螺旋线概述(2)绘制螺旋线三、e和π 一、e为何物? e是一个无限不循环小数,其值约等于2.718281828…,它是一个超越数,有时也称为欧拉数(Euler’s Number)。 以e为底的对数称为自然对数(Natural Logarithm),数学中使用自然这个词的还有自然数(Natural Number)。 这里的“自然”并不是现代人所习惯的“大自然”,而是有点儿“天然存在,非人为”的意思。 二、利息与e的关系

howard2005的专栏 1719

ThingsBoard3.9.1规则引擎方式发送钉钉通知消息

thingsboard3.9.1/4.0规则链方式发送钉钉通知消息。

hssjf的专栏 532

读书笔记:分布式系统原理介绍

WARO牺牲了更新服务的可用性,最大程度的增强读服务的可用性。其实,Quorum的本质就是对WARO的条件进行了松弛。举例:某系统有5个副本,W=3,R=3,最初5个副本的数据一致,都是v1,某次更新操作w2在前3个副本上成功,副本情况变成(v2,v2,v2,v1,v1)。此时,任意3个副本的组合中一定包括v2。(W=N,R=1)就得到WARO,即WARO是Quorum机制的一种特例。总结:1、仅仅依赖Quorum机制是无法保证强一致性的。因为仅有Quorum机制时无法确定最新已提交的版本号,

weixin_37172178的博客 1007

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

分布式系统原理与规范 笔记

传统的集中式系统:单处理器系统,由单个计算机及其外围设备构成,也可以包括一些远程终端。 大量计算机通过高速网络连接 成为计算机网络或者分布式系统。 描述:若干计算机的集合。 分布式目标: 1、让用户方便地与资源链接 2、隐藏在网络上分布(透明性) 访问、位置、迁移、重定位、复制、并发、故障、持久性 3、开放 4、可扩展 接口通过IDL定义,记录服务的语法。实际通过

boyhailong的专栏 1249

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

分布式系统原理与规范 笔记2

第五章 1.时钟同步 计时器 石英晶体; 真正重要的是相对时间;n台机器之间会有 时钟偏移 选举算法: 选举算法试着找出进程号最大的进程,指定为协调者。 1.欺负着算法 1)p向比她编号大的进程发生election消息; 2.如果无人响应,p获胜成为协调者 3)如果有比编号比p的进程响应,则p工作完成。 2.环算法 进程知道他的后继者是谁,如果协调者失效,会依次向后传递。协调者

boyhailong的专栏 1034

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

《分布式系统原理》课堂笔记之概述

notability截图。

qq_64339434的博客 71

分布式系统原理介绍读书笔记

一、数据分布方式 1. 哈希方式:1)按照数据的某一特征计算哈希值 2)哈希值与服务器建立对应关系 优点:需要记录的元数据信息非常简单,只需要知道哈希函数的计算方式和服务器的数量 缺点:1)扩展性不好,服务器数量增加,数据都需要迁移 2)万一某一特征值的数据分布不均匀,会导致数据倾斜 2. 按数据范围分布:1)将数据按特征值划分为不同的区间 2)每台服务器处理不同区间的数据 3)某区间

豪猪的博客 1025

分布式系统服务注册与发现原理 & SpringCloud 学习笔记

分布式系统服务注册与发现原理 & SpringCloud 学习笔记

m0_47396773的博客 1005

分布式系统原理要点

作者:yurunsun@gmail.com 新浪微博@孙雨润 新浪博客 优快云博客日期:2012年12月14日 <!-- body {font-size:14px; line-height:1.6; color:#333333; font:13px/1.4 Helvetica,arial,freesans,clean,sans-serif} body > *:f

雨润的技术博客 1万+

[读书笔记][从Paxos到Zookeeper分布式一致性原理与实践] 1. 分布式系统原理和理论

1. 分布式原理 分布式系统是硬件和软件分布在不同网络计算机上,彼此间通过消息传递进行通信和协调的系统。 1.1 分布式环境存在的问题 通信异常:分布式环境存在消息丢失和消息延迟的情况。 网络分区:在组成分布式系统的所有节点中只有部分节点能进行正常通信,另一些则不能,形成网络分区孤岛,也称为脑裂。 三态:分布式环境请求有3种状态,成功、失败、超时。 节点故障:分布式环境中每个节点都有可能出现故障。 1.2 分布式系统特性 分布性:服务分布在网络的不同的机器上,可能会变动。 副本: 数据副本:多节点

nzealand的博客 1645

分布式系统原理介绍-第二天笔记

二阶段提交协议-没有什么工程意义 但是有点分布式确认的思维 与人类的确认思维类似然后想到lease协议中... 更有意义且有效简单mvcc multi-version cocurrent control 思想   实践可以类比svn版本号计算 合并思路 然后看到 pgsql mysql的并发控制 mysql保证的是读无锁 但写数据还是悲观锁 而pgsql 会是读写无锁 当然了就会有脏读问题出现.....

濑尿牛丸的博客 361
上一篇: CGI解析
下一篇: Java并发编程的艺术-笔记
Parallel2333
博客等级 码龄10年 40粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值