大咖连载|可扩展性设计(一)

如何设计可扩展的架构? 01 什么是系统扩展性? 系统的扩展性一般有两层含义,一是业务的扩展性,二是容量的扩展性。 业务的扩展性(extensibility)是指系统在应对需求变化和增加时提供的⼀种能⼒,简而言之就是,功能增加的时候程序能够不改或少改。例如Java中常说的“Write Once, Run Anywhere”,对于MVC(模型-视图-控制器)来说就是“View变化,Model和Controller不变”。 容量的扩展性也叫伸缩性(scalability),是指系统能够通过调整资源来适应业务的需求,比如系统的.. 阅读详情

没关注?伸出手指点这里---

作者|华为云微服务架构师 王启军

本文节选自《持续演进的 Cloud Native 云原生架构下微服务最佳实践》

可扩展性的重要程度在很多系统中往往被低估,扩展性是衡量系统架构优劣的一个非常重要的判断指标,但是也不能盲目追求扩展性,还要兼顾成本,以下的示例将会告诉我们可扩展性设计的重要程度。

Facebook在2009年每天产生3千万张照片;2013年每天产生3.5亿张照片;2015年产生20亿张照片。

阿里巴巴2009年首个双十一一天内销售额为5000万;2012年双十一一天内销售额为191亿;2017年双十一一天内销售额为1682亿元,11秒内即破亿。

看到这两组数据,我们仅仅通过增加机器就能解决问题吗?

加机器能解决问题吗

任何一个系统,随着业务的快速发展,都需要考虑或解决扩展性的问题。系统是否可以做到流量来临的时候通过扩展避免宕机,甚至不降低用户体验,很多互联网公司在用户规模增长速度比较快,技术积累不足的阶段都发生过宕机事件。比较典型的例子是聚美优品为了庆祝三周年,做了大量宣传、广告,受到了大量关注。为了应对流量的爆发聚美方面多次为服务器扩容,并制定了详细的技术应对方案,老板陈欧在微博中写道:“我们的后台已经准备好了宕机出现,如果真的出现宕机就给技术人员每人发一把刀切腹”。 但是当促销真正开始的时候,出现了大量宕机事故,网页无法打开、永远都在排队中,用户戏称:“我终于明白了聚美优品三周年,打破低价你想不到的折扣这句广告词的真谛,就是价格多低我也进不去看不见”,甚至有的用户认为宕机是阴谋,为了“少赔点儿”,对于用户来说宕机是难以理解的。

另外一个例子,京东初期,和当当网、苏宁、国美频频发生“价格战”,京东商城CEO刘强东通过微博宣称:“京东商城所有大家电将在未来三年内保持零毛利,并保证比国美、苏宁连锁店便宜至少10%以上。”苏宁易购立即开始进行反击,苏宁易购执行副总裁李斌通过微博宣称:“包括家电在内的所有产品价格必然低于京东。”活动开始不到10分钟,由于服务器瞬间流量暴增,苏宁官网和苏宁易购就出现访问困难和无法登录的情况,整个促销伴随的是服务器频频宕机、网站打不开。

从上面的两个例子能够看出,扩展性是多么重要。到了关键时刻绝不仅仅是加机器这么简单。

横向扩展

我们也可以把加机器得到的性能提升叫做横向扩展。

横向扩展(scale out)也叫水平扩展,指用更多的节点支撑更大量的请求。例如1台机器支撑10000TPS,两台机器是否能支撑20000TPS?

纵向扩展(scale up)也叫垂直扩展,扩展一个点的能力支撑更大的请求。通常通过提升硬件实现,例如把磁盘升级为SSD。

横向扩展通常是为了提升吞吐量,响应时间一般要求不受吞吐量影响即可。因为本身在访问量比较小的时候,响应时间就是可接受的范围,例如去分布式缓存get一条数据的响应时间在毫秒级,理想情况如图5-1所示,只要在吞吐量不断提升的情况下保持这个响应时间就可以。当然,响应时间和吞吐量在资源一定的情况下,通常是互斥关系,如果要降低响应时间,可以通过纵向扩展,提升单机能力,或者改变数据存储结构,压缩等方式。

 

图 5-1 响应时间和吞吐量随节点数变化关系图

AKF扩展立方体

提到可扩展性,就不得不提著名的AKF扩展立方体(Scalability Cube),AKF是ebay前副总裁Martin Abbott在《The Art of Scalability》一书中的经典理论,作者把系统在架构上的扩展性按照三个维度进行说明,如图5-2所示。

 

图 5-2 AKF扩展立方体

下面我们通过表格5-1简单说明一下三个轴适用的场景、优势及挑战。

表格 5‑1 AKF扩展立方体

下面我们可以用一个例子来说明,系统是如何从初期一步步扩展的。假设,我们现在要开发一个微博系统。

第一阶段。产品初期,可能我们只有十人左右的团队,还没有用户,需求也不确定。如图5-3所示,此时我们只需要通过单体架构实现,为了容灾,我们可以在前端放置一个负载均衡服务,后端采用两个服务。数据库为了容灾也可以采用Master-Slave的架构。

图 5-3 单体架构,按X轴扩展

随着用户访问的快速增长,当系统出现性能瓶颈的时候,我们此时采用的是X轴的扩展方式,通过不断的克隆service,增加service的数量来应对。当数据库出现瓶颈的时候,我们可以做读写分离。这就是按照X轴扩展的思路。

第二阶段。用户快速增长,产品需求快速增加,研发团队可能会接近百人,沟通效率越来越低,数据库主从延迟问题开始暴漏,磁盘压力逐步加大。为了缓解这些问题,首先,作为过渡阶段,可以再增加业务服务实例的数量,数据库可以通过提升硬件的性能暂时抵抗压力。另一方面,我们开始按照业务领域拆分服务,如图5-4所示,每个服务独享一个数据库,接口是服务与外部联系的唯一通道。这样既降低了耦合度,提升了沟通效率,又可以缓解数据库的压力,实现分库操作。但是,在数据库中,单表的数据量持续增长,假设我们用MySQL,随着数据量的增加,响应时间变长,吞吐量下降,此时我们首先会进行垂直分表,例如用户表有100个字段,但是我们常用的可能是10个字段,我们会按照一对一的方式拆分为两张表。可以参考微服务架构拆分的相关内容。这就是按照Y轴扩展的思路。

 

图 5-4 微服务架构,按Y轴扩展

第三阶段。随着用户规模的快速增长,数据库成为了性能瓶颈,如图5-5所示,我们会通过MQ削峰填谷,解决写的性能瓶颈,通过分布式缓存解决读的性能瓶颈。在数据库一侧,我们会对表进行水平拆分,例如,我们有3千万用户数据,可以根据用户ID拆分为4张表,每张表750万条数据。为了解决拆分带来的复杂性,可以通过数据库中间件屏蔽底层分表细节。当然,这时候很可能会遇到数据中心的容量瓶颈,促使我们去建立多数据中心,按照用户的地域去切分数据,让数据离用户更近一些。这就是按照Z轴扩展的思路。

 

图 5-5 Z轴扩展

如何扩展长连接

在微服务章节,我们已经了解到服务无状态的意义。但是有时候并不是所有的状态都可以外置,例如长连接。当长连接遇到负载均衡的时候就会变得非常复杂。

首先,应该尽量减少长连接,实际上并不是每个应用都需要那么及时。大部分都可以通过短连接搞定。例如电商的App,所有的浏览、下单都可以基于短连接实现,极少需要长连接。

如图5-6所示,我们假设要设计一个微博App客户端和服务端的交互。当我关注的人发了一条微博,此时如果我不在线,并不需要马上收到,完全可以当我上线的时候通过短连接去拉取消息。但是,如果我正在看微博,应该提醒我有几条新消息,这个通知是需要及时性的。

 

图 5-6 微博App客户端和服务端的交互

当然,及时性消息也不一定非得是长连接,也可以采用定时轮询的方式。实际上,在真实的生产环境,为了保证到达率,通常需要长连接和短连接配合,因为长连接在网络条件不好的情况下,经常会出现各种各样的问题,导致不能及时到达,通过轮询心跳的方式可以定时拉取消息,缓解长连接推送失败的问题。

那么,问题来了,当其中一个push服务挂掉的时候,客户端应该作何反应?

常用的方案有两种:反向代理和注册中心。

反向代理

如图5-7所示,可以在client和push之间增加一层反向代理服务,client并不知道具体的push服务,通过反向代理服务转发,另外反向代理也兼具负载均衡的作用。

图 5-7 反向代理

注册中心

如图5-8所示,如果现在存在一个注册中心,就可以client在连接push服务的时候,先到注册中心获取可以连接的列表,然后再根据push服务的地址去连接push服务,这样,如果一个push服务挂掉,就可以让client连到另外一个push服务了。

图 5-8 注册中心

如果需要推送的消息量太大,可能会导致雪崩,我们需要限流,业界普遍会在推送服务前增加MQ以削峰填谷。

还有另外一个问题,当推送消息的时候,肯定要知道通过哪个push服务去推送,因为client不可能和所有的push服务建立长连接,单机的连接数是有限的,如何记录client和push的对应关系呢?

方法一、记录client和pushserver的映射关系。如图5-9所示,将关系数据放入缓存。

优势:扩容可以不用影响现有节点连接。假设现在有两个节点,扛不住压力了,扩容到3个节点,此时我们只需要把新的连接连到新的节点,已经存在的连接可以不用断开重连。

劣势:需要维护client和pushserver的映射关系。

图 5-9 消息推送映射关系

方法二、根据节点总数计算映射关系。

优势:简单。只需要知道现在一共有几个pushserver,根据ClientID对总节点求余、一致性哈希或者根据用户ID的范围,就应该知道应该推送到哪个节点。

劣势:首先,如果扩容需要断开一批连接,重新连到新的pushserver节点,有中断的可能。其次,如果根据范围计算,有可能存在热点,某个pushserver压力很大,而其他节点比较轻松。最后,如果一旦push节点挂掉,就要重新建立连接。有时成本是比较高的,假设我们一共有4个节点,监控到一个节点故障,此时要把这个节点的连接转移到其他三个节点,一旦故障节点恢复,因为三个节点压力较大,我们又要再让客户断开连接,连到新的节点。如图5-10所示,如果我们建立几个冗余节点,一旦发生故障,迅速把back节点顶上来,后面故障节点恢复后可以作为back节点。

图 5-10 备份节点

End

本文为作者原创文章,未经作者允许不得转载。

分布式事务实现方案阿里巴巴fescar、华为servicecomb-pack对比分析

浅谈服务化和微服务化(上)

浅谈服务化和微服务化(下)

为什么总觉得微服务架构很别扭?看看命中几条

《持续演进的 Cloud Native 云原生架构下微服务最佳实践》正在热卖中!快来抢购哟~

当当:

http://product.dangdang.com/25577028.html

京东:

https://item.jd.com/12452009.html

点击下方“阅读原文”给ServiceComb加个Star吧!☺

《AI高效运维体系建设创新》技术连载(四) 随着企业数字化转型的不断深入,IT基础设施日益复杂,云环境、混合云、微服务、容器化等新技术的广泛应用使得传统运维方式面临严峻挑战。在这一背景下,人工智能技术与运维领域的深度融合,催生了AI运维(AIOps)的新范式。AIOps不仅仅是对传统运维的升级,更是一种运维理念与模式的根本性变革。 阅读详情

相关推荐

杰奇建站CMS1.7免费版:小说连载网站的构建利器

本文还有配套的精品资源,点击获取 简介:杰奇建站CMS1.7免费版是专为小说连载网站设计的内容管理系统,提供了一系列功能,包括小说分类管理、章节发布、用户互动等。系统基于PHP开发,具备良好的可扩展性和稳定性。除了核心的小说连载模块和论坛模块,它还包括数据库管理、模板引擎、SEO优化、权限管理等特性。该系统免费提供,简化了小说网站的搭建过程,降低了开发成本。 1....

weixin_42575109的博客 1675

软件系统的可扩展性设计

系统的可扩展性一、可扩展性的设计1.可扩展性设计的优势2.可扩展性设计的目的3.可扩展性设计的两种方法二、可扩展性设计的形式1.分层架构2.消息队列3.远程调用4.开放平台三、企业级系统的平台化设计1.分层设计2.模块化3.数据建模4.流程建模5.状态建模6.权限建模7.报表系统8.界面建模四、总结 一、可扩展性的设计 通常网站的可扩展性架构设计,能够在对现有系统影响最小的情况下,同时能保持可持续...

tsxiong123的博客 4万+

如何实现软件可扩展性

本文来自于网络,网站的可扩展性架构设计,能够在对现有系统影响最小的情况下,系统功能可以可持续扩展及提升的能力。在此,对容易混为一谈的“扩展性”和“伸缩性”的概念进行详细说明:扩展性表现为:基础设施不需要经常变更,应用之间较少依赖或耦合,可以对需求变更快速响应。它对扩展开放,对修改关闭。架构设计会考虑到未来功能的可扩展性,所以当系统增加新功能时,不需要对现有系统的结构和代码进行修改。伸缩性是指系统通过增加(或减少)自身资源规模的方式增强(或减少)处理业务的能力。如果这种增减是成比例的,就可以称之为线性伸缩性。通常是利用集群的方式增加服务器的数量,以提高系统整体业务吞吐能力。度量一个开发框架、设计

八、系统架构 - 可扩展性架构设计

系统架构设计之可扩展架构设计,讲述何为扩展性,如何进行扩展性设计。

甘蓝的专栏 6686

微服务:分解应用以实现可部署性和可扩展性

本文描述了日渐流行的微服务架构模式。微服务背后大的理念是将大型、复杂且历时长久的应用在架构上设计为内聚的服务,这些服务能够随着时间的流逝而演化。微服务这个术语强烈建议服务应该是很小的。社区中有些人甚至建议构建10-100代码行(LOC)的服务。但是,尽管很小的服务是我们想要的,但这不应该是主要的目标。你应该致力于将系统分解为服务,以解决下面所讨论的开发和部署问题。一些服务可能确实会很微小,但有些可能会非常大。微服务架构的本质并不新鲜。分布式系统的理念历史非常悠久。微服务架构也很类似于SOA。它甚至曾经被称为轻量级或细粒度的SOA。确实是这样,思考微服务架构的一种方式就是将其视为没有商用和沉重W

STM32CubeMX——循迹传感器TCRT5000的使用

前言 人生如逆旅,我亦是行人。 ————苏轼《临江仙·送钱穆父》 一、介绍 TCRT5000描述:(带有晶体管输出的反射光学传感器) TCRT5000是一种反射式光学传感器,它包括一个红外发射器和一个3.5mm引线封装的光电晶体管,可阻挡可见光。还具有1mA 典型被测输出电流,2.5mm峰值工作距离,可应用传感与仪表,工业等行业。 TCRT5000具有紧凑的结构,其中发射光源和探测器布置在同一方向,通过使用来自物体的反射红外光束来感知物体的存在。工作波长为950毫米,探测器由光电晶体管组成

W_Oilpicture的博客 1万+

人月聊IT:对业务系统的可扩展性设计思考

人月聊 IT读完需要9分钟速读仅需 3 分钟对于业务系统本身在架构设计的时候考虑扩展,原来更多的都是谈的 IT 基础技术架构本身的高可用性和高扩展性。而对于业务系统扩展性,简单来说就是如...

中生代技术 2021

小白学电路之cadance搭建buffer电路

Buffer(缓冲器)是一种放大器或驱动电路,主要用于隔离输入和输出,以防止负载对前级电路造成干扰或影响。本文作者在电路方面是小白水平,目前正在学习,有不足之处欢迎指正。3.创建新的cellview,对此buffer进行仿真验证。2.创建buffer的symbol。电路中的V2的详细参数。

weixin_58051657的博客 1998

设计模式—关于提高可扩展性(方法层面)的学习(更加从容的应对需求变更)

上一节主要学习了提高复用性的几种设计模式,本节学习方法的可扩展性以及怎么更好的扩展方法。 方法是组成程序的基础单元,基础单元的可扩展性是整个程序的可扩展性保障,可扩展性顾名思义是保证代码、程序能够更好的进行扩展。再厉害的程序员都会写bug,再好的产品经理都会改需求,在遇到需求变更的时候不能总是跟产品硬怼,一个好的程序员需要随时做好改需求的准备,不要遇到问题就想着砍死产品经理,先思考是不是因为自己的代码可扩展性方面没做好,所以导致改需求才这么难。改代码的时候难免会发现之前的代码思考的不够全面,在这个过程中写第

weixin_37744697的博客 814

centos7下安装gcc-10.3.0

生成多个系统版本的代码,如果你的操作系统是32位,默认就已经设置为 disable,这时gcc仅能生成32位的可执行程序;这里只开启了c,c++ 和fortran,因为支持的语言越多,就需要安装越多的相应静态与动态库,还有五花八门的依赖库,这会让管理变得困难,体积也会变得庞大。启用posix标准的线程支持,这个设置取决于宿主或目标操作系统的类型,其它可用值有:aix,dec,solaris,win32等,如果你是其它的类UNIX系统,就需要设置相应的值。指定安装路径,这里没有指定,就直接放到文件夹里就好。

lxystar2003的博客 1189

飞塔防火墙和paloalto防火墙构建ipsec

一、配置fortigate防火墙1.防火墙配置上网功能1.1配置fortigate的wan1接口IP为100.100.100.2/24VLAN交换internal,IP地址为192.168.156.99/24。开启DHCP分配IP地址范围为192.168.156.110-192.168.156.2101.2配置访问互联网的缺省路由1.3配置访问互联网的安全策略2.配置与Paloalto防火墙的IPSECVPN。

weixin_44675999的博客 3743

大咖连载|可扩展性设计(三)

送你小心心记得关注我哦!!作者|华为云微服务架构师 王启军本文节选自《持续演进的 Cloud Native 云原生架构下微服务最佳实践》如何扩展数据中心1.1.1 两地三...

微服务技术与实践专栏 205

【软考高项】五十一、常见必会的几种进度网络图(单代号、双代号、七格图、横道图)

软考高项计算题进度网络图画图介绍

有莘不破的博客 3万+

【大咖连载】服务设计与实现

更多精彩内容请关注我们服务设计会影响到业务需求是否被正确、高效地实现,良好的服务设计能够帮助领域专家与开发人员之间,以及团队内部进行高效、准确的沟通。良好的实现则能缩短服...

微服务技术与实践专栏 634

基于matlab目标雷达横截面建模(附源码)

雷达系统依靠目标反射或散射来检测和识别目标。目标反射越强,雷达接收器返回的回波就越大,从而获得更高的信噪比(SNR)和更高的检测可能性。在雷达系统中,从目标反射的能量由雷达横截面(RCS)决定,定义为sigma代表RCS,R是雷达与目标之间的距离,Es是从目标反射的信号的场强,以及Ei是入射到目标上的信号的场强。通常,目标向各个方向散射能量,RCS是入射角,散射角和信号频率的函数。RCS 取决于目标的形状和构建目标的材料。用于RCS的常用单位包括平方米或dBsm。

珞瑜的博客 3086

6.6kW的车载充电器(On-Board Charger, OBC)电路分析

图片展示了6.6kW的车载充电器(On-Board Charger, OBC)电路,其中包含双向和单向两种拓扑结构。接下来我们将深入分析每个模块的设计、原理及其优势,以帮助理解不同结构在实际应用中的选型和应用。

weixin_43199439的博客 5687

大咖连载|可扩展性设计(二)

点击蓝色文字关注我们吧!作者|华为云微服务架构师 王启军本文节选自《持续演进的 Cloud Native 云原生架构下微服务最佳实践》1.1 如何扩展数据库前面我们讲到了...

微服务技术与实践专栏 376

QGis二次开发 —— 2、第一个程序 - 加载栅格tif与矢量shp文件(附源码)

QGis二次开发 —— 2、第一个程序 - 加载栅格tif与矢量shp文件(附源码)

1100

《网络工程师必读——网络系统设计》试读连载

快过年了,为了便于大家在这么长的节日期间系统地学习,下面把在我的博客中以前发表的图书试读内容集中起来,这样大家就可以对同一部书的较多内容连贯起来阅读。 网络设计的综合考虑              局域网系统设计的主要内容 网络系统设计的一般步骤     可扩展性需求分析 小型星形网络结构设计示例 光纤接入网广域网连接拓扑结构设计 ...

weixin_33872566的博客 145

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

.NET三层经典架构PetShop3.0分析连载一

petshop是C#实现的petstore,具体和技术无关的情况就不多介绍了。petshop3.0比petshop1和2都有了较大的改变,主要是设计方面的。看一下里面的8个工程和1个站点就知道它肯定分了不少层。一.概况介绍。Model:模型层,封装业务实体,一般和数据库模式对应。例如:       public class AccountInfo {               // Intern

冷枫@优快云 2928

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【连载】设计模式笔记——设计模式简介

设计模式 内容来自菜鸟教程——设计模式部分~ 设计模式简介 设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。 设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结。 使用设计模式是为了重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式.

weixin_52777510的博客 132

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

java23种设计模式十一(连载)

十一、构建者模式 构建者模式主要是用于创建复杂的一些对象,这些对象的创建步骤基本固定,但是可能具体的对象的组成部分却又可以自由的变化,比如房子装修,我可以在卧室里放电视,也可以不放电视,我还可以摆个电脑,这些属性可以自由变化。 要构建这样一个对象,就需要一个创建一个Buil...

chongsi9495的博客 94

连载06:软件体系设计新方向:数学抽象、设计模式、系统架构与方案设计(简化版)(袁晓河著)

可置换性可置换继续向上融入了分层、虚拟化、微内核等架构设计中,所以正确性、稳定性和可测试性等等特性以外还需要新增一个新的非功能属性,这就是可置换性,可置换性是一个比较隐式的特性,其外在表现不太为人所知,虽然在设计过程中,我们已经使用了可置换性的非功能属性来描述和审查设计,例如:我们的设计模型是否能够有效替换现实中的系统呢?在设计中我们经常这样地询问,但是可置换性却一直没有作为一项独立的非功能属性,...

weixin_39033845的博客 192
上一篇: Apache ServiceComb 社区5月动态精选
下一篇: ServiceComb java-chassis和CSE java-chassis的区别
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值