面试官们“爱不释手”的分布式系统架构到底是个什么鬼?

分布式架构项目介绍 中小型分布系统项目架构全面介绍:涉及的技术, nginx 、redis 、zookeeper、solr,springMVC注解应用的日志,权限,安全的等控制 立即下载

一、什么是分布式系统?

在谈分布式系统架构前,我们先来看看,什么是分布式系统?

假设原来我们有一个系统,代码量30多万行。现在拆分成20个小系统,每个小系统1万多行代码。

原本代码之间都是直接基于Spring框架走JVM内存调用,现在拆开来,将20个小系统部署在不同的机器上,然后基于分布式服务框架(比如dubbo)搞一个rpc调用,接口与接口之间通过网络通信来进行请求和响应。

所以分布式系统很重要的特点就是服务间要跨网络进行调用,我们来看下面的图:、

此外,分布式系统可以大概可以分成两类。

1. 底层的分布式系统。

比如hadoop hdfs(分布式存储系统)、spark(分布式计算系统)、storm(分布式流式计算系统)、elasticsearch(分布式搜索系统)、kafka(分布式发布订阅消息系统)等。

2. 分布式业务系统

分布式业务系统,把原来用java开发的一个大块系统,给拆分成多个子系统,多个子系统之间互相调用,形成一个大系统的整体。

举个例子,假设原来你做了一个OA系统,里面包含了权限模块、员工模块、请假模块、财务模块,一个工程,里面包含了一堆模块,模块与模块之间会互相去调用,1台机器部署。

现在如果你把他这个系统给拆开,权限系统,员工系统,请假系统,财务系统,4个系统,4个工程,分别在4台机器上部署。

然后一个请求过来,完成这个请求,员工系统去调用权限系统,调用请假系统,调用财务系统,4个系统分别完成了一部分的事情。

最后4个系统都干完了以后,才认为是这个请求已经完成了。这就是所谓的分布式业务系统。

同样,我们来一张图,感受一下上述过程:

二、为什么要走分布式系统架构?

有的同学可能要问了,我一台服务器跑的好好的,所有系统一个工程全部搞定,多好。为啥一定要去搞什么分布式系统架构,互相调用还要走远程,似乎还增加了不少工作量?

这里我就以我曾经待过的一个公司的血泪经历为例,来聊聊这个问题。

很多年前,在没有走分布式架构的时候,我待的这家公司的各个业务线都是垂直的 “烟囱式” 项目。

随着互联网的快速发展,公司的业务也在不断的发展,注册用户增加、网站应用的功能、规模不断扩大,特别是移动互联网的发展,APP、微信、自助终端机等访问渠道的增加,各种新业务,新需求不断涌入,系统遇到了各种各样的问题。

首先是项目工程无节制的变得臃肿庞大,系统复杂度增加,大几十万行代码,几十个开发人员,service层,dao层代码大量被copy使用,经常各种代码合并冲突问题要处理,非常耗费时间。

经常是我改动了我的代码,别人调用了我的接口,导致他的代码也出现问题,需要重新测试,麻烦的要死。

然后每次发布都是几十万行代码的系统一起发布,大家得一起提心吊胆准备上线,几十万行代码的上线,每次上线都要做很多的检查,很多异常问题的处理,每个人都高度紧张,被搞得几乎崩溃。

而且如果我现在有个新业务,打算把相关依赖升级一下,比如升级到最新的spring版本,还不行,因为这可能导致别人的代码报错,不敢随意乱改技术。并且一个web工程每次启动都需要好分钟的时间,本地IDE里面调试一次代码都很痛苦。

其次,随着用户访问流量的增加,系统负载压力变大,变得不堪重负,通过增加实例数,增加硬件扩容能够带来的效果已微乎其微,故障频发,效率低下。系统质量也越来越难以保证,测试周期也变得越来越长,无法满足公司业务发展的需要。

以上就是以前待过的公司一些 “不堪回首” 的往事,总得来说,问题主要体现在以下几个方面:

(1)应用代码耦合严重,功能扩展难

(2)新需求开发交互周期长,测试工作量大

(3)新加入的开发同事需要很长时间才能熟悉系统

(4)升级维护也很困难(改动任何一点地方都要升级整个系统)

(5)系统性能提升艰难,可用性低,不稳定。

好,既然我们已经深刻体会到了系统耦合的痛苦,那么现在就来看看,系统拆分后带来的好处:

首先,系统拆分了以后,会感觉整个世界都清爽了。

几十万行代码的系统,假设拆分成20个服务,平均每个服务就1-3万行代码,每个服务部署到单独的机器上。20个工程,就用20个git仓库代码,20个开发人员,每个人维护自己的那个服务就可以了。

(1)因为是自己独立的代码,跟别人没关系。再也没有代码冲突了,爽!

(2)每次就测试我自己的代码就可以了,爽!

(3)每次就发布我自己的一个小服务就可以了,爽!

(4)技术上想怎么升级就怎么升级,保持接口定义不变,输入输出内容不变就可以了,爽!

总结起来一句话,分布式系统拆分之后,可以大幅度提升复杂系统大型团队的开发效率。

三、系统如何进行拆分?

一般来说,将系统进行拆分,首先需要对系统整体比较熟悉。可以走多轮拆分的思路,第一次拆分就是将以前的各个大的模块粗粒度的拆分开来。

比如一个电商系统可以拆分成订单系统、商品系统、店铺系统、会员系统、促销系统、支付系统等等。

后面可能每个系统又变得越来越复杂了,比如说订单系统又可以进一步拆分出来购物车系统,库存系统,价格系统等。

总得来说就是基于领域驱动设计的思想以及实战经验总结,同时参考业界一些常规做法,大家讨论着来进行拆分,逐步优化,多轮拆分,小步快跑,最终达到一个比较好的状态。

四、分布式之后带来的技术挑战?

首先就是分布式服务框架的选用,目前国内来讲主流的还是dubbo与spring cloud。

我们来思考一下,使用服务框架主要用来解决什么问题呢?如果不用dubbo或者spring cloud是否可以做分布式架构呢?

不用dubbo或者spring cloud等服务框架当然也是可以的,但是这就需要自己处理很多事情了。

比如,各个子系统走restful接口调用,那么就是http调用,这时比如传送过去一个对象,就要自己搞成一个json,然后一次调用失败后重试怎么做?

另外,一般来说都是集群部署,目标系统有多个实例,那么自己还要写一个负载均衡算法,如何每次随机从多个目标机器中挑选一个来调用?

还有,如果目标系统扩容新部署了一个实例,或者服务器故障下线了一个实例,如何动态让调用方感知到呢? 诸如此类的很多问题,如果不用服务框架的话,自己这么瞎搞,会遇到各种各样的问题。

上述过程,用一张图给大家呈现一下:

如果选用了某一个分布式服务框架,就需要深入的掌握这个框架的使用与底层原理,比如 dubbo 就需要搞明白以下的一些问题:

(1)dubbo的工作原理?

(2)dubbo支持的序列化协议?

(3)dubbo的负载均衡和高可用策略?动态代理策略?

(4)dubbo的SPI思想?

(5)如何基于dubbo进行服务治理、服务降级、失败重试以及超时重试?

(6)dubbo服务接口的幂等性如何设计(比如不能重复扣款,不能重复生成订单,不能重复创建卡号)?

(7)dubbo服务接口请求的顺序性如何保证?

(8)如何自己设计一个类似dubbo的rpc框架?

(9)使用spring cloud也是一样,比如eureka的工作原理?feign声明式调用的原理?等等各种底层原理要搞懂。

还有其它一些走分布式架构后常见的要解决的技术问题:

(1)分布式会话

(2)分布式锁

(3)分布式事务

(4)分布式搜索

(5)分布式缓存

(6)分布式消息队列

(7)统一配置中心

(8)分布式存储,数据库分库分表

(9)限流、熔断、降级等。

HWSD2.0土壤数据处理实战:从下载到属性提取全流程解析 本文详细解析了HWSD2.0全球土壤数据库从数据下载、属性筛选到GIS空间连接与提取的全流程实战方法。重点介绍了如何利用ArcGIS Pro等工具,将土壤单元编码与黏粒含量等属性表关联,最终生成全球土壤属性专题栅格图,为农业规划与生态研究提供关键数据支撑。 阅读详情

相关推荐

Python数据分析实战:用TIGRAMITE库5步搞定时间序列因果分析(附完整代码)

本文详细介绍了如何使用TIGRAMITE库进行时间序列因果分析,通过5个步骤从环境配置到模型优化,帮助读者掌握因果关系库的应用。附完整代码示例,适合数据分析师和研究人员快速实现复杂时间序列的因果发现。

weixin_29050271的博客 161

分布式系统详解--基础知识(概论)

                       分布式系统详解--基础知识(概论) 一、 引言         由于网上介绍的分布式的系统讲解并没有多少,所以在这儿就希望可以写一套系统的分布式的详解,未来也结合springboot的搭建分布式系统进行详细构建。也愿意坚持写下去,写给自己也分享给大家,希望大家可以提出宝贵的意见,一同长进。哈哈。。第一篇文章,开个头。 二、分布式定义。   了解...

David的博客 9189

STM32G4实战:用CubeMX+Keil五分钟搞定FreeRTOS多任务LED控制(避坑指南)

本文详细介绍了如何在STM32G4系列芯片上使用CubeMX和Keil快速配置FreeRTOS实现多任务LED控制,包括环境准备、时钟配置、任务创建及常见问题解决方案。重点解决了时钟源冲突等高频问题,并提供了优化建议和进阶应用示例,帮助开发者高效完成嵌入式开发任务。

joy55的博客 228

系统架构--分布式项目如何实现跨模块调用--初级了解

对于所有的有进取心的crud码农来说,如何完整部署一个项目,或者说一个分布式项目都是一个很有挑战性的任务。 在实际开发中,我们经常是在别人已经搭建好的项目中进行业务开发,完全不需要了解具体的搭建细节,这对于我们技术提升是一个巨大的阻碍。 所以这里我来聊一聊分布式项目搭建的一些细节问题,这里创建的项目 是按企业中实际开发的架构来作为依据,所以不会过于简洁的。。。。 注意:本文适合不了解分布式开发的小白,讲的会比较杂。 1.如何使各模块间可以互相调用 ①首先,第一步是需要创建一个父项目(Maven创建,空项.

yuanchangliang的博客 4955

Android 默认授予所有应用权限以及特殊权限处理

PackageManagerService作为android的主要系统服务之一,包含处理应用权限相关的职责。源码地址如下:在PMS成功启动时并收到回掉systemReady回进行应用权限授予。DefaultPermissionGrantPolicy为权限处理策略管理类。这里并没有赋予所有系统应用权限,所以当进行应用时还是会显示权限检查的弹框。可通过此方法进行所有应用权限赋予:如果不想所有应用都授予权限,可考虑在system/etc下的权限相关xml文件添加应用包名和所需权限。

Jimmy的专栏 1513

百度智能云ASR实战:5分钟搞定Unity语音转文字(含完整代码)

本文详细介绍了如何在Unity中集成百度智能云ASR服务,实现高效的语音转文字功能。从环境配置、音频处理到服务端通信,提供完整代码示例和实战优化技巧,帮助开发者快速实现语音交互功能,适用于游戏开发、XR应用等场景。

ujm56789012的博客 216

模块之耦合性

概念: 耦合是模块之间的相互独立性(互相链接的紧密程度)的度量。它取决于各个模块之间接口的复杂度、调用模块的方式以及哪些信息通过接口,构成耦合性的七种类型 耦合类型 描述 定义 对修改的敏感度 可重用性 可修改性 可理解性 非直接耦合 没有直接联系,互相不依赖对方

罗俊 3038

从翼型到湍流:用生活化案例图解空气动力学核心概念(中英双语版)

本文通过飞机机翼、F1赛车、高尔夫球等生活化案例,图解空气动力学核心概念。深入浅出地解释了攻角如何产生升力、边界层与流动分离如何影响阻力、马赫数如何划分速度世界,以及涡流与湍流的特性与应用。文章还介绍了计算流体动力学(CFD)这一现代数字风洞工具,帮助读者直观理解这些塑造现代交通与运动设计的无形之力。

metaverse5vr的博客 477

软件设计-模块设计

文章目录1. 模块设计1.1 耦合:模块之间的联系紧密程度1.2 内聚:模块内部各元素联系的紧密程度1.3 其他1.4 模块设计注意事项 1. 模块设计 模块设计基本原则:信息隐蔽,模块独立 1.1 耦合:模块之间的联系紧密程度 1. 非直接耦合 两个模块之间没有直接关系,它们之间的联系完全时通过主模块的控制和调用来实现的。耦合度最低,模块独立性最强 2. 数据耦合 模块之间有调用关系,传递的是...

方大锤 1万+

STM32基于软件模拟IIC进行AHT21B温湿度采集

通过学习软件IIC来进行实操AHT21B采集温湿度。

Liu-FE的博客 3700

STM32G431的 FDCAN使用5M加速时,出现奇葩问题,如何解决?

🏆 本文收录于《全栈Bug调优(实战版)》专栏,致力于分享我在项目实战过程中遇到的各类Bug及其原因,并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者,本文将为你指引出一条更高效的Bug修复之路,助你早日登顶,迈向财富自由的梦想🚀!同时,欢迎大家关注、收藏、订阅本专栏,更多精彩内容正在持续更新中。让我们一起进步,Up!Up!Up!    备注: 部分问题/难题源自互联网,经过精心筛选和整理,结合数位十多年大厂实战经验资深大佬经验总结所得,数条可行方案供所需之人参考。

**My Coding Family** 1642

springcloud架构特点_面试官们“爱不释手”的分布式系统架构到底是个什么鬼?...

点击上方石杉的架构笔记,右上选择“设为星标”每日早8点半,精品技术文章准时送上往期文章BAT 面试官是如何360°无死角考察候选人的(上篇)每秒上万并发下的Spring Cloud参数优化实战分布式事务如何保障实际生产中99.99%高可用记一位朋友斩获 BAT 技术专家Offer的面试经历亿级流量架构系列之如何支撑百亿级数据的存储与计算本文是公众号读者W同学的投稿感谢W同学的技术分享目录...

weixin_39619858的博客 66

洛达开发--AB1585 PC 工具介绍

洛达常用的PC开发工具包括三款:1)IOT_Flash_Tool是固件烧写工具,支持USB/UART接口下载,需通过断电重启完成烧录;2)EPT是图形化PinMux配置工具,适用于MT25x3/MT768x等芯片的引脚复用设置;3)ATK是综合开发套件,包含日志工具、配置工具、OTA工具和实验室测试工具等组件。这三款工具分别针对固件烧录、硬件配置和系统调试等不同开发环节,形成完整的开发工具链。

Joon2020的博客 672

面试官们“爱不释手”的分布式系统架构到底是什么?

  一、什么是分布式系统?   在谈分布式系统架构前,我们先来看看,什么是分布式系统?   假设原来我们有一个系统,代码量30多万行。现在拆分成20个小系统,每个小系统1万多行代码。   原本代码之间都是直接基于Spring框架走JVM内存调用,现在拆开来,将20个小系统部署在不同的机器上,然后基于分布式服务框架(比如dubbo)搞一个rpc调用,接口与接口之间通过网络通信来进行请求和响应。...

qianfeng_dashuju的博客 209

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

走向人生巅峰....

信息爆炸时代,如何找到精准内容,快速提升自己。今天给大家分享几位大佬,都是一线大厂的技术专家,手撕面试官有丰富经验。另外他们多年如一日,在系统架构、算法、中间件等方面积累了丰富的实战经验。...

艾小仙的专栏 336

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

程序员必备专业绘图工具:从PlantUML到Figma提升技术表达效率

在软件开发和系统架构设计中,可视化表达是提升沟通效率和设计质量的关键技术。其核心原理是将复杂的逻辑关系、系统组件和业务流程通过图形化语言进行抽象和呈现,从而降低认知负荷。这项技术的价值在于,它能将抽象的架构思想和数据流转过程转化为直观的模型,是进行技术方案评审、知识传承和团队协作的高效载体。在实际应用场景中,从编写技术设计文档、绘制系统架构图,到进行个人知识管理,都需要借助合适的工具将思维可视化。本文聚焦于**PlantUML**和**Mermaid**这类“代码即文档”的工具,以及**Diagrams**

weixin_28837817的博客 275

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

编程体系结构(09):分布式系统架构

所有业务服务和应用组件部署在一台服务上,节省成本,这是单服务结构,适用于并发低,业务单一的场景。业务量逐渐增大,并发高,把一台服务进行水平扩展,做一个服务群,请求压力分散到不同的服务上处理,每台服务称为集群的一个节点,到这就是集群服务。分布式结构就是按照业务功能,拆分成独立的子服务,独立的库表,可以独立运行,且服务之间通信和交互,带来的好处降低业务间的耦合度,方便开发维护,水平扩展,复用性高等等。服务基础架构Dubbo框架,SpringCloud框架;容器化运维数据存储。...

【积累】,是一个长期持续的过程。 3199

软件工程习题

软件产品与物质产品有很大的区别,软件产品是一种(逻辑)产品。 结构化设计的目标是_______以上全部 在模块结构图中,如果两个模块之间有直线连接,则表示它们之间存在着_调用_关系。 一个模块把一个数值量作为参数传送给另一模块,这两个模块之间的耦合是(数据耦合 )。 下列几种耦合中,耦合性最强的是_内容耦合__。 为了提高模块的独立性,模块内部最好是_功能内聚__ 关于模块的扇入扇出,以下说法正确的是_一个模块的扇出太多,说明该模块过分复杂,缺少中间层_。 划分模块时,一个模块的_作用范围应在其控制范围之

m0_73642847的博客 417

分布式系统架构简单介绍

目录: 一、什么是分布式系统? 二、为什么要走分布式系统架构? 三、系统如何进行拆分? 四、分布式之后带来的技术挑战? 一、什么是分布式系统? 在谈分布式系统架构前,我们先来看看,什么是分布式系统? 假设原来我们有一个系统,代码量30多万行。现在拆分成20个小系统,每个小系统1万多行代码。 原本代码之间都是直接基于Spring框架走JVM内存调用,现在拆开来,将20个小系统部署在不同的机器上,然后基于分布式服务框架(比如dubbo)搞一个rpc...

u011555996的博客 1万+
上一篇: 被面试官虐懵了,竟然是因为我不懂Spring中的@Configuration
下一篇: 如何正确的终止一个线程?
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值