
分布式原理
文章平均质量分 89
分布式相关的经验,原理,概念,方法等,学习经历
优惠券已抵扣
余额抵扣
还需支付
¥9.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
九师兄
可免费问问题,可以一次订阅,终身免费问问题。工作多年遇到的问题,与一些总结,注意事项等,有些是源码级别的讲解,同时整个博客是成体系的,里面有很多连接互相连接,问题都是拆开的,能让大家遇到问题的时候方便的解决问题,或者提供思路。也可以单独找我解决问题。
展开
-
【分布式】服务网格Service Mesh与Google Istio 发展历程
最开始我们使用的是微服务的形式提供服务,每个组织负责一小块功能。每个组织都有自己的管理单元。都有相关的数据,项目是内聚的。团队层面:內聚,独立开发业务,没有依赖产品层面:服务彼此独立,独立部署,没有依赖大规模微服务网络层面必将成为致命短板比如我们的服务规模超大,哪个这个拓扑图就很复杂。原创 2024-11-24 00:30:00 · 85 阅读 · 0 评论 -
【高可用】高可用KeepAlived简单入门案例
Keepalived是一个基于VRRP协议来实现的服务高可用方案。VRRP协议(虛拟路由冗余协议–Virtual Router Redundancy Protocol, 简称VRRP),是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议,1998年已推出正式的RFC2338协议标准。VRRP广泛应用在边缘网络中,它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱,允许主机使用单路由器,以及即使在实际第一跳路由器使用失败的情形下仍能够维护路由器间的连通性。原创 2024-11-24 00:15:00 · 181 阅读 · 0 评论 -
【分布式】分布式事务TCC方案是如何解决一致性难题的?
分布式事务TCC方案是如何解决一致性难题的?原创 2024-11-22 02:15:00 · 79 阅读 · 0 评论 -
【架构】从ELK到KEFK,这些年日志收集架构都经历了什么?
本章节主要讲解日志架构的演进,从ELK到KEFK,这些年日志收集架构都经历了什么?无日志不监控,无监控无运维。对日志的收集筛选和过滤是非常重要的,这里可以选择es的三剑客。首选就是LogStash,这个主要是集中的负责数据的转换、过滤和存储,从日志中找到有价值的数据第二个是es,主要负责数据的算数和查询功能第三个是kibana主要负责数据的展示,因为人对数据是不敏感的,因此需要图表化的展示。原创 2024-11-18 00:15:00 · 75 阅读 · 0 评论 -
【分布式】分布式十二问
分布式事务是相对本地事务而言的,对于本地事务,利用数据库本身的事务机制,就可以保证事务的ACID特性。而在分布式环境下,会涉及到多个数据库。分布式事务其实就是将对同一库事务的概念扩大到了对多个库的事务。目的是为了保证分布式系统中的数据一致性。需要记录事务在任何节点所做的所有动作;事务进行的所有操作要么全部提交,要么全部回滚。原创 2024-09-22 00:15:00 · 119 阅读 · 0 评论 -
【不体系】618京东十万级商品接口优化方案15则
618期间,商品接口QPS峰值能可能超过20历,面对如此大规模的应用,京东在商品接口做出了哪些设计有优化?原创 2024-12-18 00:30:00 · 99 阅读 · 0 评论 -
【nacos】Nacos一致性协议:Distro与Raft协议
对于强一致性共识算法,当前工业生产中,最多使用的就是Raft 协议,Raft 协议更容易让人理解,并且有很多成熟的工业算法实现,比如蚂蚁金服的 JRaft、 Zookeeper的ZAB、consul 的Raft、百度的braft、Apache Ratis;原创 2024-12-15 23:45:00 · 262 阅读 · 0 评论 -
【分布式】超低耦合,事件驱动架构是什么?
事件驱动架构以Kubernetes 为基础设施的云原生技术,彻底改变了我们的开发和思维模式。事件作为云原生领域的一等公民,已经无处不在,是云原生架构体系松耩合、灵活性的基础。作为 Gartner 定义的 10 大战略技术趋势之一,事件驱动架构(EDA)逐渐成为主流技术架构。根据 Gartner 的预估,到 2022年,在新型数字化商业的解决方案中,将有 6成使用 EDA,在商业组织参与的技术栈中,EDA 有一半的占比。事件是已经发生的事实,并且是不可变的。原创 2024-12-14 00:15:00 · 241 阅读 · 0 评论 -
【分布式】负载均衡器“不均衡”了,咋办?
本章主要讲解负载均衡器“不均衡”了,咋办?在日常工作中,我们一般服务器前面都有代理服务器,nginx也属于代理服务器。作为代理服务器一个基本的职责就是负载均衡,当客户端的请求来的时候,按照一定的策略发送给后端。但是作为代理服务器本身来说,他是可能遇到不均衡的问题,比如下面这个问题,我们有3台代理服务器,然后1号和3号代理服务器分别都有连接,但是2号服务器是闲置的状态,这还是示意图如果是百万链接这个就更加不均衡了。原创 2024-12-13 00:30:00 · 211 阅读 · 0 评论 -
【Nacos】性能提高3倍,微服务架构是时候升级到Nacos 2.x了
Nacos 2.0 通过升级通信协议和框架、数据模型的方式将性能提升了约 10倍,解决继 Nacos 1.0发布逐步暴露的性能问题。本文通过压测 Nacos 1.0, Nacos 1.0 升级Nacos 2.0 过程中,Nacos 2.0 进行全面性能对比,直观的展示 Nacos 2.0 所带来的性能提升.。原创 2024-11-29 00:15:00 · 183 阅读 · 0 评论 -
【java】分布式一致性hash算法
本文是视频的笔记。原创 2021-01-02 21:53:55 · 397 阅读 · 1 评论 -
【分布式】分布式系统调用链出问题该如何排查?APM链路追踪了解下!
分布式系统调用链出问题了,如何排查?APM链路跟踪了解下链路跟踪就是运行时通过某种方式记录下服务之问的调用过程,再通过可视化的UI界面帮研发运维人员快速定位到出错点。链路跟踪调用有两种实现。原创 2024-11-19 00:15:00 · 78 阅读 · 0 评论 -
【缓存】高并发电商热门商品缓存访问倾斜,该怎么解决?
在大型的电商项目中,商品是有成千上万的,我们一般都会加缓存区加速访问,但是如果全加入缓存肯定是不行的,我们只能加入部分,而且也不能只加入一个redis去缓存,一台显然是无法支持这么高的访问量的。最常见的办法是我们采用多台相同性能的redis,然后按照商品编号取模的方式将数据均匀的存储到对应的redis中。虽然我们解决了数据存储是均匀的,但是我们的访问却不失均匀的。比如上图redis1的缓存明显被访问次数多了很多,这就是热门商品缓存访问倾斜。这里有两种解决方式。原创 2024-11-17 00:15:00 · 68 阅读 · 0 评论 -
【分布式】阿里巴巴Seata分布式事务解决方案
要讲解阿里巴巴Seata分布式事务解决方案,首先要看看什么时候会产生分布式事务。比如有个商场应用做的比较大,然后他们每个功能都是一个微服务,都使用了不同的数据库,那么我们下单的时候可能涉及多个数据库,这就要产生分布式事务,来保证所有的数据要么全都提交,要么全都回滚。要做分布式事务,一般情况都要增加一个角色,叫事务协调者。因为我们是分布式的,那么一定要有一个角色来做这种分布式事务的提交和回滚操作。原创 2024-11-15 00:30:00 · 86 阅读 · 0 评论 -
【java】雪花算法时钟回拨问题怎么解决?
雪花算法时钟回拨问题是指在使用雪花算法生成唯一ID时,当系统时钟发生回拨(Clock Drift)时可能会导致的一类问题。雪花算法(Snowflake)是一种广泛应用于分布式系统中生成唯一ID的算法。由于一般情况下只需要生成正整数,所以该位一般为0。精确到毫秒级的时间戳,共计可以表示的时间范围为2^41-1个毫秒,大约是69年。标识不同的工作机器,可支持最多1024台机器。表示同一毫秒内的序列号,从0开始递增,可以表示的最大序列号为4095。原创 2023-08-26 21:03:44 · 1232 阅读 · 0 评论 -
【分布式ID】键高并发 分布式 全局唯一 ID 雪花算法 snowflake
雪花算法讲解原创 2021-04-05 14:42:00 · 715 阅读 · 3 评论 -
【分布式】B站高可用用架构实践
流量洪峰下要做好高服务质量的架构是一件具备挑战的事情,本文是B站技术总监毛剑老师在「腾讯云开发者社区沙龙online」的分享整理,详细阐述了从Google SRE的系统方法论以及实际业务的应对过程中出发,一些体系化的可用性设计。对我们了解系统的全貌、上下游的联防有更进一步的帮助。bilibili技术总监毛剑:B站高可用架构实践。转载 2023-03-11 14:30:12 · 736 阅读 · 0 评论 -
1.1.0-简介-P12-分布式锁的解决方案(二)
1.世界目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时满足两项。”所以,很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的场景中,都需要牺牲强一致性来换取系统的高可用性,系统往往只需要保证“最终一致性”,只要这个最终时间是在用户可以接受的范围内即.原创 2021-04-19 21:15:19 · 305 阅读 · 0 评论 -
1.1.0-简介-P11-分布式锁的解决方案
1.世界前言随着互联网技术的不断发展,数据量的不断增加,业务逻辑日趋复杂,在这种背景下,传统的集中式系统已经无法满足我们的业务需求,分布式系统被应用在更多的场景,而在分布式系统中访问共享资源就需要一种互斥机制,来防止彼此之间的互相干扰,以保证一致性,在这种情况下,我们就需要用到分布式锁。分布式一致性问题首先我们先来看一个小例子:假设某商城有一个商品库存剩10个,用户A想要买6个,用户B想要买5个,在理想状态下,用户A先买走了6了,库存减少6个还剩4个,此时用户B应该无法购买5个,给出数量不足的提原创 2021-04-19 21:14:52 · 329 阅读 · 0 评论 -
1.1.0-简介-P11-分布式锁的解决方案
1.世界前言随着互联网技术的不断发展,数据量的不断增加,业务逻辑日趋复杂,在这种背景下,传统的集中式系统已经无法满足我们的业务需求,分布式系统被应用在更多的场景,而在分布式系统中访问共享资源就需要一种互斥机制,来防止彼此之间的互相干扰,以保证一致性,在这种情况下,我们就需要用到分布式锁。分布式一致性问题首先我们先来看一个小例子:假设某商城有一个商品库存剩10个,用户A想要买6个,用户B想要买5个,在理想状态下,用户A先买走了6了,库存减少6个还剩4个,此时用户B应该无法购买5个,给出数量不足的提原创 2021-04-19 21:14:24 · 237 阅读 · 0 评论 -
1.1.0-简介-P10-分布式事务的解决方案
1.世界分布式事务的解决方案有如下几种:全局消息基于可靠消息服务的分布式事务TCC最大努力通知方案1:全局事务(DTP模型)全局事务基于DTP模型实现。DTP是由X/Open组织提出的一种分布式事务模型——X/Open Distributed Transaction Processing Reference Model。它规定了要实现分布式事务,需要三种角色:AP:Application 应用系统它就是我们开发的业务系统,在我们开发的过程中,可以使用资源管理器提供的事务接口来实现分原创 2021-04-19 21:13:58 · 284 阅读 · 0 评论 -
1.1.0-简介-P9-分布式ID生成器解决方案
1.世界本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID一, 问题描述在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID?在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现.但在一个存在多个 Shards 的分布式系统 (例如多个 MySQL 实例组成一个集群, 在这个集群中插入数据), 这个问题会变得复杂, 所生原创 2021-04-19 21:13:31 · 214 阅读 · 0 评论 -
1.1.0-简介-P8-选举、多数派和租约
1.世界选举(election)是分布式系统实践中常见的问题,通过打破节点间的对等关系,选得的leader(或叫master、coordinator)有助于实现事务原子性、提升决议效率。 多数派(quorum)的思路帮助我们在网络分化的情况下达成决议一致性,在leader选举的场景下帮助我们选出唯一leader。租约(lease)在一定期限内给予节点特定权利,也可以用于实现leader选举。下面我们就来学习分布式系统理论中的选举、多数派和租约。选举(election)一致性问题(consisten原创 2021-04-19 21:12:56 · 218 阅读 · 0 评论 -
1.1.0-简介-P7-Raft、Zab
1.世界引言《分布式系统理论进阶 - Paxos》介绍了一致性协议Paxos,今天我们来学习另外两个常见的一致性协议——Raft和Zab。通过与Paxos对比,了解Raft和Zab的核心思想、加深对一致性协议的认识。RaftPaxos偏向于理论、对如何应用到工程实践提及较少。理解的难度加上现实的骨感,在生产环境中基于Paxos实现一个正确的分布式系统非常难[1]:There are significant gaps between the description of the Paxos al原创 2021-04-19 21:12:30 · 219 阅读 · 0 评论 -
1.1.0-简介-P6-Paxos
1.世界引言《分布式系统理论基础 - 一致性、2PC和3PC》一文介绍了一致性、达成一致性需要面临的各种问题以及2PC、3PC模型,Paxos协议在节点宕机恢复、消息无序或丢失、网络分化的场景下能保证决议的一致性,是被讨论最广泛的一致性协议。Paxos协议同时又以其“艰深晦涩”著称,下面结合 Paxos Made Simple、The Part-Time Parliament 两篇论文,尝试通过Paxos推演、学习和了解Paxos协议。Basic Paxos何为一致性问题?简单而言,一致性问题是原创 2021-04-19 21:11:39 · 244 阅读 · 0 评论 -
1.1.0-简介-P5-时间、时钟和事件顺序
1.世界现实生活中时间是很重要的概念,时间可以记录事情发生的时刻、比较事情发生的先后顺序。分布式系统的一些场景也需要记录和比较不同节点间事件发生的顺序,但不同于日常生活使用物理时钟记录时间,分布式系统使用逻辑时钟记录事件顺序关系,下面我们来看分布式系统中几种常见的逻辑时钟。物理时钟 vs 逻辑时钟可能有人会问,为什么分布式系统不使用物理时钟(physical clock)记录事件?每个事件对应打上一个时间戳,当需要比较顺序的时候比较相应时间戳就好了。这是因为现实生活中物理时间有统一的标准,而分布式.原创 2021-04-19 21:11:10 · 508 阅读 · 0 评论 -
1.1.0-简介-P4-一致性、2PC和3PC
1.世界引言狭义的分布式系统指由网络连接的计算机系统,每个节点独立地承担计算或存储任务,节点间通过网络协同工作。广义的分布式系统是一个相对的概念,正如Leslie Lamport所说[1]:What is a distributed systeme. Distribution is in the eye of the beholder.To the user sitting at the keyboard, his IBM personal computer is a nondistributed s原创 2021-04-18 08:57:53 · 262 阅读 · 0 评论 -
1.1.0-简介-P3-CAP 分布式 高可用
1.世界引言CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论,“什么是CAP定理?”在Quora 分布式系统分类下排名 FAQ 的 No.1。CAP在程序员中也有较广的普及,它不仅仅是“C、A、P不能同时满足,最多只能3选2”,以下尝试综合各方观点,从发展历史、工程实践等角度讲述CAP理论。希望大家透过本文对CAP理论有更多地了解和认识。CAP定理CAP由Eric Brewer在2000年PODC会议上提出[1][2],是Eric Brewer在Inktomi[3]期间研发搜索引擎、分布原创 2021-04-18 08:57:26 · 286 阅读 · 0 评论 -
1.1.0-简介-P2-分布式系统的一些基本概念
1.世界分布式来自csdn,作者:陆小凤进阶篇来自:bangerlee作者对部分地方做了订正目前这系列文章是网络上分布式系统讲的最全最深入的系列,文中参考了大量国外英文文献。小明的公司又3个系统:系统A,系统B和系统C,这三个系统所做的业务不同,被部署在3个独立的机器上运行,他们之间互相调用(当然是跨域网络的),通力合作完成公司的业务流程。将不同的业务分部在不同的地方,就构成了一个分布式的系统,现在问题来了,系统A是整个分布式系统的脸面,用户直接访问,用户访问量大的时候要么是速度巨慢,要么原创 2021-04-18 08:56:50 · 324 阅读 · 0 评论