无服务器场景(serverless)的容错怎么做?我们的设计

《深入掌握PostgreSQL数据库》 - 专栏介绍和目录 本专栏系统讲解PostgreSQL数据库的全栈知识,涵盖基础入门到高级实战。内容分为语言基础与进阶、核心原理、高可用架构、性能优化、运维管理、扩展开发等多个模块。从安装配置、数据类型选择到窗口函数、CTE等高级特性,再到索引优化、执行计划分析等性能调优技巧,全面解析PostgreSQL的核心功能。同时深入探讨MVCC机制、WAL日志、并发控制等底层原理,并分享高可用架构设计、备份恢复等运维实践。适合各层次开发者系统学习PostgreSQL,掌握这一强大开源数据库的关键技术。 阅读详情

无服务器架构和FaaS(Function-as-a-service 函数即服务)近年来越来越受欢迎,这要归功于易用性、自动伸缩和按需付费的特性。然而,FaaS 基础设施中缺少应用程序的容错能力。

把坑留给码农?

默认情况下,AWS Lambda 或 Google Cloud Functions 等 FaaS 系统需要开发者自己考虑执行失败的情况。云服务的策略是:无论是应用程序自身错误还是基础设施故障,一旦函数执行失败就执行重试。这意味着函数可能会运行多次。

并且更可怕还有,你的业务代码也可能会运行 0.5 次,或者 3.2 次……这是怎么回事?

这个糟糕问题的原因是,大多数 FaaS 系统提供的能力不能保证资源层(如数据库或文件等)在执行失败后被清理。

在失败和重试的过程中,修改共享状态的应用程序会在不知不觉修改部分结果。如果一个请求将更新两个键 k 和 l,但函数在两次更新之间崩溃,那么现在客户端将看到较新版本的 k 和较旧版本的 l。

这就是云平台 FaaS 的现状。

FaaS 的无痛容错:原子性

为了避免这种类型的异常,开发人员需要一个简单的保证,那就是原子性:要么一个请求的所有操作全部成功,要么全部失败。传统做法中,原子性是由强一致性(事务式)存储引擎来保证的,但这些系统有众所周知的扩展和性能问题。如何才能让 FaaS 执行保证原子性?

为此,我们构建了一个名为 AFT(Atomicity for Fault Tolerance)的系统,它是一个位于任何无服务器计算层(如AWS Lambda、Google Cloud Functions)和存储层(如AWS DynamoDB、Redis)之间的胶合层。计算层的每个逻辑请求(可能由多个函数组成)都被视为一个事务。AFT 保证事务所做的所有更新都会在存储层原子化执行。

AFT 的设计是灵活的。我们对计算层不做任何假设,而对存储层的要求就是存储层要持久化。我们可以保证在 DynamoDB 和 S3 等最终一致的系统上运行的函数的原子性。AFT 有两个主要特点。(1)无协调、原子更新;(2)保证事务只读取已提交的数据。AFT 将每个新的key版本写到不同的物理存储位置,以避免写-写冲突。

为了保证事务读取语义上一致的数据,AFT 保证了读取原子性。读取原子性要求客户机只从已提交的事务中读取数据,并按照事务提交的顺序进行读取。也就是说,如果事务 T1 写了 key 的版本 K1,而后来的事务 T2 写了 K2 和 L2,那么客户端就读不到 K1 和 L2,因为事务 T2 写了一个较新版本的K,称为 K2。所有这些都可以在没有任何协调¹的情况下完成。这种类型的异常被称为断裂读。

下一步

我们对胶合层架构作为探索不同开发者保障的手段感到兴奋。特别是有一整类应用可以从无服务器架构中受益,但需要找到将更强的一致性引入 Faas 世界的方法。

熟悉数据库内部的朋友可能已经注意到,我们这里讲到的读取原子性保证类似于无协调版本的快照隔离,这是传统数据库中常用的强一致性形式。我们正计划在此背景下探索如何将强一致性引入到无服务器应用中。如果你对这些有兴趣可以通过原文链接反馈给我们。

 

《UDS协议从入门到精通》系列——图解0x23:通过地址读取内存 如何读取ECU中指定内存地址的数据?图解UDS 0x23服务带你快速上手!! 阅读详情

相关推荐

微信小游戏CE修改实战:从入门到精通(附防作弊思路)

本文深入探讨微信小游戏的安全攻防实战,重点分析CE修改、反编译和重打包等安全风险。通过详细的内存修改案例和代码保护方案对比,提供从客户端到服务端的全方位防护策略,帮助开发者构建有效的防作弊体系。

m2n3b4v5c6的博客 1159

工作流编排系统:架构、应用与选型指南

工作流编排系统是现代分布式计算和微服务架构中的关键技术,用于定义、执行和监控多步骤业务流程。其核心原理包括控制流范式(如DAG、状态机、容器化编排)和执行引擎设计(中心化调度器、分布式工作者、事件驱动)。这类系统通过声明式编程模型、可视化监控和自动错误恢复等特性,显著提升了任务调度的可靠性和效率。在数据工程、机器学习、订单处理等应用场景中,工作流编排技术已成为不可或缺的基础设施。以Airflow、Temporal和Argo Workflows为代表的工具,分别适用于不同规模和复杂度的业务需求。合理选型需综合

weixin_30851867的博客 439

华为OD机考双机位C卷 - 完美走位 (Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 完美走位(OD上机考试双机位C卷)。提供Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。

算法大师! 1128

Serverless是什么?如何使用?有哪些优势?国内外有哪些Serverless平台?

Serverless 是云计算的一种模型。以平台即服务(PaaS)为基础,无服务器运算提供一个微型的架构,终端客户不需要部署、配置或管理服务器服务,代码运行所需要的服务器服务皆由云端平台来提供, Serverless computing(无服务器运算,又被称为函数即服务 Function-as-a-Service,缩写为 FaaS),以 Amazon Lambda 为典型服务。Serverless 作为一种新型的互联网架构,推动云计算的发展。

weixin_42560424的博客 1297

2. 第一个 SAP CDS View 源代码的详细解析:CDS View 和底层自动生成 SQL View 的关系讲解

笔者前一篇教程文章,带着大家在 ABAP 系统创建了一个最简单的基于sflight数据库表的 CDS View:本文对这简单的 14 行源代码背后的知识点进行详细讲解。CDS 全称是 Core Data Services,它是一种数据建模技术,帮助开发者以更直观和高层的方式去描述数据库中所需的数据结构。在一个典型的 SAP ABAP 开发场景里,CDS 经常被用来编写各种用于报表、接口或业务逻辑的数据视图。通常,这些视图包含一系列注解。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1027

基于Transformer模型实现交通流量时序预测(PyTorch版)

Transformer模型,作为一种基于自注意力机制的深度学习模型,最初在自然语言处理领域取得了突破性进展,其出色的长距离依赖关系捕捉能力使其在处理时序数据时也表现出色。将Transformer模型应用于交通流量时序预测,可以充分利用其优势,实现对交通流量更加精准、高效的预测。

时序笔记 2575

微服务之服务容错

Share a sentence that I think is very reasonable, as long as you can know the underlying logic of anything, you can hold it without fear 参考书籍:“凤凰架构”在 Martin Fowler 与 James Lewis合写的文章《Microservices: A Definition of This New Architectural Term》中列举了微服务的九个核心的

a_ittle_pan的博客 1423

最佳RANSAC算法拟合矩形的实现(基于PCL库)

最佳RANSAC算法是一种常用的参数估计方法,用于从数据集中拟合出最佳的模型。在计算机视觉和图像处理领域,最佳RANSAC算法常用于拟合几何形状,如矩形。本文将详细介绍如何使用点云库(PCL)中的最佳RANSAC算法来拟合矩形,并提供相应的源代码。

JbPatch的博客 1544

Serverless 架构下的实时数据分析流水线设计

Serverless 架构在实时数据分析领域展现出显著优势,但需解决冷启动、容错和成本监控等核心挑战。建立统一治理框架(涵盖架构、安全、性能)、投资自动化运维工具(如 chaos engineering)和参与行业标准制定(如 Serverless 建设规范)。端到端延迟建模(建立可量化的性能预测模型)、跨平台兼容性(实现 AWS Lambda/Azure Functions 互操作性)和合规性自动化(基于 AI 的实时合规检查)。

2501_92430747的博客 428

yolov5直接调用zed相机实现三维测距(python)

zed代码比较简洁,但是一定要把环境配置好,后续自己会把他当做普通双目标定,去对比分析效果,并完善相关功能。

积极向上的mr.d的博客 1万+

Autosar NvM配置-手动配置Nvblock及使用-基于ETAS软件

NVM作为存储协议栈中最顶层的模块,是必须要掌握的。目前项目基本使用MCU带的Dflash模块,使用Fee模拟eeprom。在项目前期阶段,应该充分讨论需要存储的内容,包括应用数据,诊断数据等,用以评估Dflash空间是否够用。本文基于ETAS软件介绍NVBlock配置生成NVM参数及使用。使用NVBlock配置生成,基本不用手写代码,还是比较方便的。对于Nv block的划分,建议将同时写的一类数据放到一个block中,因为block除了data以外,Fee还会增加一些header数据,占用不少内存。

赞的博客 1888

揭秘分离栈快照机制:如何实现毫秒级状态恢复与系统容错

掌握分离栈的快照机制,实现毫秒级状态恢复与系统容错。适用于高并发、分布式系统,通过异步快照捕获运行时上下文,提升故障恢复效率。有效降低停机时间,保障服务连续性,值得收藏,点击了解实现原理。

Instrustar的博客 314

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

架构设计方法详解与实践指南

《软件架构设计指南》摘要 本文系统阐述了软件架构设计的核心概念、原则与实践方法。从架构定义(系统组织结构与设计原则)入手,分析了架构演进历程(单体→分布式→微服务)。重点讲解了分层/微内核/事件驱动/微服务等主流架构风格,以及SOLID/DRY等设计原则的应用。 文章详细介绍了架构设计流程(需求分析→概念设计→验证迭代)和实用方法论(ADD/DDD)。提供了组件设计、数据架构、性能优化等实践指南,并探讨了架构演进策略与治理方法。 针对现代趋势,分析了云原生、边缘计算等新兴架构。最后构建了架构师能力模型(技术

油墨香^-^的博客 876

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

JavaEE企业级应用开发实战高并发架构设计与微服务实战解析

本文将结合JavaEE的技术特性,从高并发架构设计到微服务落地策略,探讨如何构建弹性、可伸缩与稳定的分布式系统。在设计JavaEE高并发系统时,需始终把握架构演进的核心逻辑:通过分层解耦抽象业务复杂度,利用异步通信释放性能瓶颈,借助分布式特性实现弹性伸缩。- Saga事务模式:订单创建流程设计为全局事务协调者,当商品减库存、积分扣减、支付确认等微服务出现任一环节失败时,协调者触发对应的逆向补偿操作。例如,在库存扣减场景中,若使用单点数据库的悲观锁机制,大量并发请求会导致锁排队与事务超时。

KEAwQDMD的博客 379

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

分布式系统架构设计原理与实战:如何设计高可用系统

分布式系统架构设计原理与实战:如何设计高可用系统 作者:禅与计算机程序设计艺术 1. 背景介绍 1.1. 什么是分布式系统? 分布式系统是由多个 autonomous computers (or proce

AI架构师小马 1198

Koog 来了,一款跨平台 Agent 框架

与传统 Web 框架不同,Koog 内置了状态管理、重试策略、超时控制、熔断等容错机制,并原生支持多平台运行。该框架支持多种平台,包括 JVM、Android、iOS、JavaScript 和 WebAssembly,这使其企业级应用和跨平台应用场景变得更加容易。对于需要将同一套 AI 能力部署到 App、后端、网页甚至边缘设备的团队,Koog 提供了目前 Kotlin 生态中最完整的解决方案。多平台运行:一套代码可运行于 JVM、Android、iOS、JS、Wasm。

开发者技术前线-DevolperFront 149

BigQuery生产级查询避坑指南:3小时跑通首条高性价比SQL

BigQuery作为Google云原生数据仓库,其列式存储与按扫描量计费的特性,彻底重构了传统SQL的使用逻辑。理解‘为什么SELECT *在BigQuery中是高危操作’、掌握‘如何通过分区裁剪将TB级扫描降至GB级’,是避免意外账单与查询失败的核心能力。本文聚焦真实工程场景,覆盖数据加载编码陷阱、TIMESTAMP与DATE字段选型差异、SAFE_CAST容错处理、INFORMATION_SCHEMA元数据自查等高频痛点,结合转化率分析、RFM用户分群、事件路径追踪三大业务需求,提供可直接复用的SQL模

weixin_30099989的博客 292

免费二维码生成避坑指南:从 5 分钟接入到生产级落地

给商品分享页、扫码登录或线下物料加二维码,是开发者绕不开的小需求。免费二维码生成方案主要分两条路:本地库生成和在线 API。本文按难度递进讲清楚:先用本地库 5 分钟出图,再聊什么场景才值得依赖免费 API,最后把批量生成和生产环境的坑一次说完。 ## 先泼盆冷水:在线二维码 API 往往不是首选 很多人接到需求的第一反应是搜"二维码 API 免费接入",找个公共接口发个 GET 请求就收工。

gitblog_00035的博客 658

Redis高可用架构分析

主从复制实现了数据的单向同步,从节点作为主节点的精确副本。从最初简单的主从备份,到如今成熟的分布式集群与云服务,Redis高可用架构的演进史,正是一部互联网基础设施追求韧性、透明与智能的缩影。它提醒我们,技术架构的选择没有银弹,唯有深刻理解业务需求与技术组件的内在权衡,才能设计出真正坚如磐石的系统。在瞬息万变的数字世界中,构建这样的高可用架构,已不仅是技术任务,更是保障业务生命线的战略投资。在当今的互联网架构中,Redis以其卓越的性能和灵活的数据结构,已成为缓存、会话存储和消息队列等场景的核心组件。

mwjzef_021的博客 180

我的Serverless实战——能掰扯面试官的SSVM超详细解析!

【本文正在参与 “100%有奖 | 我的Serverless 实战”征稿活动】活动链接:https://marketing.youkuaiyun.com/p/15940c87f66c68188cfe5228cf4a0c3f 目录 一、什么是Serverless无服务器架构? 二、Serverless无服务器架构有哪些特点? 三、Serverless无服务器架构的核心概念 四、Serverless有哪些方面的应用? 五、基于 Serverless 的前端开发模式 六、关于(SSVM)Serverless.

累计发表博客60余万字,优快云 博客专家、Java 领域优质创作者、华为云享专家、阿里云专家博主。专注分享 Java 优质文章,毕设实战项目开发,全网粉丝10W+ 3809

Serverless(无服务器计算)

Serverless(无服务器计算)是一种由云厂商完全管理服务器的云计算模式,开发者只需编写业务逻辑代码。其核心优势包括按需付费(仅计算实际消耗)、自动扩缩容(支持高并发)、零运维(无需管理基础设施)。典型应用涵盖API后端、数据处理和IoT等事件驱动场景。尽管存在冷启动延迟、状态管理等问题,但Serverless凭借低成本和高效率,成为创新项目的理想选择。未来将更多与容器、边缘计算及AI自动化相结合。

ctlongs的博客 1482

探索 Serverless MySQL:无服务器时代的数据库新选择

在云计算日益普及的今天,Serverless架构正逐渐成为开发者的新宠。而当我们谈论Serverless时,如何将传统的数据库服务融入其中呢?这就是`Serverless MySQL`项目所要解决的问题。它是一个开源的解决方案,旨在为MySQL提供一个无服务器的运行环境。 ## 技术解析 `Serverless MySQL`基于AWS Lambda和Amazon Aurora Serverle

gitblog_00060的博客 773

2023亚马逊云科技中国峰会之Serverless

当应用程序需要更多的计算资源时,云服务提供商会自动分配更多的资源,而当应用程序需要更少的计算资源时,云服务提供商会自动释放多余的资源。在 Serverless 架构中,云服务的提供商负责自动扩展和管理计算资源,从而方便应用程序可以根据需要自动调整资源使用,同时还提供了事件驱动的计算模式、无状态计算模式和微服务架构等功能。里面,即函数计算一个服务里面,也就是serverless架构的一个服务,上传之后,他可以通过api/sdk进行调用或者触发,自测一下,如果没有问题,那他这方面的工作就已经结束了。

Javascript_tsj的博客 1万+

Serverless无服务器架构和传统服务器的区别

总结起来,传统服务器和无服务器架构在架构原理、服务器管理、资源分配、弹性伸缩、成本模型、开发和部署、可伸缩性、处理并发以及可用性和容错等方面存在显著差异。无服务器架构通过自动化管理和按需分配资源,为开发者提供了更简单、灵活和成本效益的解决方案。然而,具体选择哪种架构应根据实际需求和应用场景进行评估和决策。通过以上表格,可以清楚地看到传统服务器架构和无服务器架构在多个方面的区别。无服务器架构通过自动化和按需资源分配的特性,提供了更简单、灵活和成本效益的解决方案。

qq_40902326的博客 822

2023 亚马逊云科技中国峰会,引领 Serverless 技术架构新潮流

2023 亚马逊云科技中国峰会,引领 Serverless 技术架构新潮流。

dvlinker的技术专栏 3959

从0到1:Valkey无服务器架构(Serverless)部署实战指南

Valkey是一个高性能的数据结构服务器,主要用于处理键/值工作负载。它支持多种原生数据结构,并提供可扩展的插件系统,用于添加新的数据结构和访问模式。Valkey项目是从Redis开源项目分叉而来,旨在继续开源开发。 ## Valkey无服务器架构的优势 无服务器架构(Serverless)让开发者无需关心服务器管理,只需专注于代码编写。Valkey的无服务器部署提供以下优势: - 自动扩缩容...

gitblog_00392的博客 679
上一篇: Java程序员的IntelliJ IDEA使用教程,java面试问职业规划
下一篇: 整理出来了三篇Java面试问题,每一篇都是精髓(含答案)
Javaesandyou
博客等级 码龄5年 742粉丝 563原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值