37、构建容错Web应用:原理与实践

构建容错Web应用:原理与实践

1. 使用冗余EC2实例提高可用性

虚拟机器可能出现故障的原因有多个方面,主要分为硬件和软件两部分:
- 硬件方面 :
- 若主机硬件发生故障,将无法继续承载其上的虚拟机器。
- 主机的网络连接中断时,虚拟机器会失去网络通信能力。
- 主机系统断电,虚拟机器也会随之故障。
- 软件方面 :
- 应用程序存在内存泄漏问题,最终会耗尽内存导致故障。
- 应用程序不断向磁盘写入数据且不删除,会导致磁盘空间耗尽,应用程序失败。
- 应用程序对边界情况处理不当,可能会意外崩溃。

由于上述原因,单个EC2实例是单点故障。若仅依赖单个EC2实例,系统迟早会崩溃。

1.1 冗余可消除单点故障

以制作蓬松云派的生产线为例,原本的单条生产线存在问题,只要其中一个步骤崩溃,整个生产线就必须停止。比如冷却派皮的步骤出现故障,后续步骤因无法获得冷却的派皮而无法工作。

若采用多条生产线,例如三条,当其中一条生产线出现故障时,另外两条仍可继续为客户生产蓬松云派。虽然需要三倍数量的机器,但系统稳定性大大提高。

将此例子应用到EC2实例,不使用单个EC2实例运行应用程序,而是使用三个。若其中一个实例发生故障,另外两个仍能处理传入的请求。并且可以选择三个小的EC2实例来替代一个大的实例,以降低成本。

对于动态EC2实例池,可通过解耦的方式实现与实例的通信,即在EC2实例和请求者之间放置负载均衡器或消息队列。

1.2 冗余需要解耦

通过冗余和同步解耦可使EC2实例具备容错能力。若某个EC2实例崩溃,弹性负载均衡器(ELB)会停止向该实例路由请求,自动扩展组会在几分钟内替换崩溃的实例,然后ELB开始向新实例路由请求。

以下是系统中冗余部分的说明:
| 冗余部分 | 说明 |
| ---- | ---- |
| 可用区(AZs) | 使用两个可用区,若其中一个发生故障,另一个仍有实例运行 |
| 子网 | 子网与可用区紧密耦合,每个可用区需要一个子网 |
| EC2实例 | 在一个子网(可用区)中有多个实例,且在两个子网(可用区)中都有实例 |

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    Internet --> LoadBalancer(Load balancer):::process
    LoadBalancer --> AZA(Availability zone A):::process
    LoadBalancer --> AZB(Availability zone B):::process
    AZA --> SubnetA(10.0.1.0/24):::process
    AZB --> SubnetB(10.0.2.0/24):::process
    SubnetA --> WebServersA(Web servers):::process
    SubnetB --> WebServersB(Web servers):::process
    WebServersA --> AutoScalingA(Auto - scaling group):::process
    WebServersB --> AutoScalingB(Auto - scaling group):::process
2. 使代码具备容错性的考虑因素

若要实现容错,需相应地构建应用程序,可参考以下两个建议。

2.1 允许崩溃,但也要重试

Erlang编程语言以“让它崩溃”的概念而闻名,即程序遇到无法处理的情况时崩溃,由其他部分处理崩溃。但人们常忽略Erlang也以重试而闻名。只崩溃不重试是无用的,因为若无法从崩溃中恢复,系统将停机。

“让它崩溃”(或“快速失败”)可应用于同步和异步解耦场景:
- 同步解耦场景 :请求发送者必须实现重试逻辑。若在一定时间内未收到响应或收到错误,发送者会再次发送相同请求。
- 异步解耦场景 :若消息在一定时间内被消费但未得到确认,它会返回队列,下一个消费者会再次处理该消息。异步系统默认具备重试机制。

不过,“让它崩溃”并非适用于所有情况。若请求内容无效,让服务器崩溃并不能解决问题;但若服务器无法访问数据库,重试是有意义的,因为数据库可能在几秒后恢复正常。

重试也存在问题,例如重试创建博客文章时,会在数据库中创建多个重复条目。可通过幂等重试来解决此问题。

2.2 幂等重试使容错成为可能

为防止因重试导致博客文章多次添加到数据库,可采用简单方法,如使用标题作为主键。若主键已存在,则跳过插入步骤,使博客文章的插入操作具有幂等性,即无论操作执行多少次,结果都相同。

插入博客文章的实际过程更复杂,可分为以下步骤:
1. 在数据库中创建博客文章条目 :使用通用唯一标识符(UUID)作为主键。客户端生成UUID,若请求包含的UUID在数据库中不存在,则创建新记录;若存在,则继续插入流程。
2. 使缓存失效 :向缓存层发送失效消息。多次使缓存失效不会造成太大影响,最坏情况是需要多查询几次数据库。
3. 在博客的Twitter动态中发布链接 :由于Twitter不支持幂等操作,无法保证只发布一次状态更新。可采用以下两种方法:
- 向Twitter API查询最新状态更新,若与要发布的内容匹配,则跳过该步骤。但Twitter是最终一致性系统,可能会导致多次发布。
- 在数据库中记录是否已发布状态更新。但可能出现数据库记录已发布,而实际未发布的情况。需要根据业务需求选择容忍缺失状态更新还是容忍多次发布。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    Start(Start):::process --> CheckUUID{Is the UUID already in the database?}:::process
    CheckUUID -- Yes --> End(End):::process
    CheckUUID -- No --> CreateEntry(Create database entry):::process
    CreateEntry --> End

构建容错Web应用:原理与实践

3. 构建容错Web应用:Imagery案例

在设计Imagery应用时,最初的流程是用户上传图像,应用对图像应用滤镜,然后返回处理后的图像。但这个过程是同步的,存在问题:若Web服务器在请求和响应期间崩溃,用户的图像将无法处理;当大量用户使用该应用时,系统会变得繁忙,可能会变慢或停止工作。因此,需要将其转换为异步过程。

3.1 异步处理流程

当用户想要上传图像时,首先创建一个处理流程,系统会返回一个唯一ID。用户使用该ID上传图像,上传完成后,工作者会在后台处理图像。用户可以随时使用处理ID查询处理状态,在图像处理期间,用户无法看到处理后的图像,处理完成后,查询将返回处理后的图像。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    User(User):::process --> CreateProcess(Create an image process):::process
    CreateProcess --> GetID(Get's back an ID):::process
    GetID --> UploadImage(Upload an image to the process identified by the ID):::process
    UploadImage --> Worker(Worker picks up the job to process the image):::process
    Worker --> ApplyFilter(Apply the sepia filter to the image):::process
    ApplyFilter --> Wait(Wait until image is processed asynchronously):::process
    Wait --> ViewImage(View the sepia image by the ID):::process
3.2 映射到AWS服务

将异步处理流程映射到AWS服务,大部分AWS服务默认具有容错能力,因此尽可能选择这些服务。具体步骤如下:
1. 创建处理流程 :用户创建一个带有唯一ID的处理流程,该流程存储在DynamoDB中。
2. 上传图像 :用户使用处理ID将图像上传到S3,S3键与新的处理状态“已上传”一起持久化到DynamoDB,并生成一个SQS消息以触发处理。
3. 处理图像 :SQS消息被EC2实例消费,原始图像从S3下载,处理后将处理后的图像上传到S3,DynamoDB中的处理状态更新为“已处理”,并记录处理后图像的S3键。
4. 查看图像 :用户等待处理状态变为“已处理”,然后通过DynamoDB知道处理后图像的S3键,从而查看图像。

步骤 操作 涉及服务
1. 创建处理流程 用户创建带有唯一ID的处理流程,存储在DynamoDB DynamoDB
2. 上传图像 用户使用ID上传图像到S3,S3键和状态存到DynamoDB,生成SQS消息 S3, DynamoDB, SQS
3. 处理图像 EC2实例消费SQS消息,处理图像并上传到S3,更新DynamoDB状态 EC2, S3, DynamoDB
4. 查看图像 用户等待状态更新,通过DynamoDB获取S3键查看图像 DynamoDB, S3
3.3 幂等状态机

幂等状态机是Imagery应用的核心。有限状态机有至少一个起始状态和一个结束状态,状态之间有定义的转换。Imagery状态机如下:
(Created) -> (Uploaded) -> (Processed)

  • Created -> Uploaded :此转换由函数uploaded(s3Key)定义,需要上传的原始图像的S3键。
  • Uploaded -> Processed :此转换由函数processed(s3Key)定义,需要处理后的图像的S3键。

需要注意的是,状态机只关注操作的结果,不跟踪操作的进度。

整个示例在AWS免费套餐范围内,只要在几天内完成示例,并且是为该项目创建的全新AWS账户且无其他操作,就无需支付费用。完成示例后,需要清理账户。

相关推荐

HTTP协议与IIS底层原理:Web开发者的地基课

HTTP协议是Web通信的基石,其无状态设计、请求响应模型及头部机制深刻影响着性能、安全与兼容性;IIS作为Windows平台主流Web服务器,依托HTTP.SYS内核驱动、应用程序池隔离与集成管道模式,构建了高可靠托管运行环境。理解HTTP报文解析、TCP连接复用策略、Cookie生命周期、P3P隐私头演进,以及IIS中经典/集成模式差异、AppDomain隔离机制和ASP.NET请求管道19个执行步骤,不仅能精准定位503/500错误、静态资源授权失效、Session丢失等典型问题,更能为.NET Fr

dingguayi7025的博客 442

Python 3文件处理核心原理:编码、缓冲与原子写入实战

文本文件操作是Python工程实践的基石,其本质是Unicode字符串与字节流之间的双向转换过程。理解Python 3中str/bytes分离设计、TextIOWrapper编码转换器机制,是解决乱码、崩溃与跨平台兼容问题的关键。encoding参数决定解码契约,newline控制换行符标准化行为,buffering直接影响I/O吞吐性能,而atomic_write等模式保障数据持久性。这些技术点共同构成日志分析、配置管理、自动化报告等高频场景的可靠性底座。本文聚焦open()函数背后的操作系统交互、内存缓

dengwan3818的博客 387

Web AR教育应用:零安装交互式科学实验平台

增强现实(AR)在教育中的价值,正从单向展示转向可操作、可验证的交互式学习。Web AR作为无需下载、跨平台运行的轻量级技术方案,依托WebXR标准与Three.js等成熟框架,使抽象科学概念(如光的折射、分子结构、天体运动)具备实时参数调节、物理引擎驱动和多模态反馈能力。其技术核心在于平衡教学友好性与工程可行性——通过预计算插值降低延迟、MediaPipe手势优化提升响应、渐进式加载适配弱网环境,真正服务于课堂真实场景。本文聚焦Interactive Augmented Reality Web Apps在

weixin_30888413的博客 369

GPT-4o+Agent实战:构建可落地的超级应用系统

超级应用是当前大模型工程落地的核心范式,指用户以自然语言表达意图、系统自动编排多工具完成跨应用任务的工作流。其技术基础并非依赖尚未发布的‘GPT-5.5’等虚构模型,而是建立在GPT-4o的多模态理解、低延迟响应与稳定Function Calling能力之上,并通过Agent框架实现意图识别、工具调度与状态管理。该范式已在金融合规审查、医疗文档摘要、会议纪要自动化等场景验证可行性,关键在于RAG知识精炼、安全PII脱敏、成本可控的API工程实践。本文聚焦GPT-4o与LangChain/LlamaIndex

weixin_33859231的博客 458

JavaScript解构、剩余参数与展开语法核心原理与工程实践

解构赋值、剩余参数和展开语法是ES6引入的三大基础数据操作机制,本质分别对应‘按结构提取’、‘弹性收集’和‘无损摊平’的数据流向范式。它们共同支撑现代JavaScript的不可变更新、函数式编程与声明式组件开发,广泛应用于React/Vue props透传、API响应处理、Redux状态更新及Node.js中间件链等高频场景。深入理解其V8引擎执行机制(如模式匹配、可迭代协议、浅拷贝限制)与TypeScript类型协同,能显著提升代码健壮性、可维护性与团队协作效率,避免常见空值崩溃、类型擦除与性能雪崩问题。

weixin_30703911的博客 359

【Python爬虫(37)】解锁分布式爬虫:原理与架构全解析

分布式系统是建立在网络之上的软件系统,它由多台独立的计算机组成,这些计算机通过网络相互连接并协同工作,共同完成特定的任务。从用户的角度来看,分布式系统就像是一个单一的、统一的系统,用户无需关心系统内部的具体实现细节,使用起来如同操作一台计算机。例如,万维网(World Wide Web)就是一个典型的分布式系统,用户在浏览网页时,无需了解网页数据存储在哪台服务器上,也不用关心网页是如何从不同的服务器传输到本地的,所有这些细节都对用户透明,用户只需要关注网页的内容本身。分布性。

邓邓子的博客 2189

单片机开发者的福音:3步搞定VSCode智能补全(IAR工程+Clangd实战)

本文为单片机开发者提供了一套高效解决方案,通过EIDE插件将IAR工程导入VSCode,并生成关键的compile_commands.json文件,结合Clangd配置,仅需三步即可实现精准的智能代码补全、一键跳转等现代编辑功能,大幅提升嵌入式开发效率。

coffee的博客 525

lighttools用透镜旋转手动创建菲尼尔透镜

学过很多软件,都没有留下痕迹,很多年之后只记得学过的软件常用的一些功能,稍微难一些的再次用起需要重新学,但如果留下点痕迹,重新再用就会很快。lighttools无意之中接触了,记一点点笔记吧。...

kingsai2012的博客 4334

手把手教你用Microsoft AEC Challenge数据集训练自己的回声消除模型(附完整代码)

本文详细介绍了如何使用Microsoft AEC Challenge数据集训练专业的回声消除模型,包括环境准备、数据清洗、模型架构设计、训练流程和实际部署注意事项。通过完整的代码示例和实战指南,帮助开发者快速掌握AEC技术,提升语音通信系统的回声消除效果。

weixin_27697385的博客 461

USB之ch376s数据手册

         最近师兄交给我一个项目,虽说刚学嵌入式起步,但上手一个项目怎说都是最好的快速学习方式。因为刚了解ch376s管理U盘的数据,所以先是看了ch376s的数据手册。那我就把数据手册直接放上来吧。。。。      1、概述 CH376 是文件管理控制芯片,用于单片机系统读写 U 盘或者 SD 卡中的文件。 CH376 支持 USB 设备方式和 USB 主机方式,并且内置了 USB 通...

iBGG的博客 6009

(10)Proteus 8.9上的STM32仿真系列(HAL)---freertos

实验设计:通过cubemxide生成freertos工程,然后创建一个 pc13 led灯间隔200ms闪烁的任务。非常遗憾的是proteus8.9仿真失败,实物上没有问题,但还是把流程过一遍。 一、原理图 实物是淘宝上stm32f103 c8t6的核心板,proteus上没有这个芯片,这里图上大概表示一下,用的是核心板自带的pc13引脚的led灯。 二、cubemxide配置 1.RCC如之前工程一样配置 2、配置SYS timebase Source不要使用systick,自己选择一个定时器,我这

qq_35442550的博客 7346

植物GO注释

本文主要是对没有GO term库的植物进行注释。 1、选用AgriGo 进行注释,在agriGO中点击species后,查看与你目标物种相近的物种作为库 2、比如我以甜菜为例 为了找到和GO term对应的ID,先找到PLAZA,进入网站https://bioinformatics.psb.ugent.be/plaza/versions/plaza_v3_di...

weixin_30300225的博客 2229

探索gtwr of mgtwr in python

代码】探索gtwr of GWmodel in python。

m0_46268055的博客 3388

沁恒CH32V208GBU6读写芯片内部FLASH:代码空间;使用OTA时候的代码空间;保存结构体到FLASH

沁恒CH32V208GBU6读写芯片内部FLASH:代码空间;使用OTA时候的代码空间;保存结构体到FLASH

cheng___yi的博客 556

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 15、守护Facebook隐私:明智分享,安全社交
下一篇: 11、FreeBSD启动过程与控制台配置全解析
sql99
博客等级 码龄19年 168粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值