读书笔记(SRE:Google运维解密):第21章 应对过载

google 运维解密-终极最全标签版! SRE:Google运维解密解释了如何对软件进行生命周期的整体性关注的,以及为什么这样做能够帮助Google成功地构建、部署、监控和运维世界上现存最大的软件系统。 DevOps突出重视软件开发人员和运维人员的沟通合作,通过自动化流程来使得软件构建、测试、发布更加快捷、频繁和可靠。 你值得拥有!!!! 立即下载
  • 避免过载,是负载均衡策略的一个重要目标。但是无论你的负载均衡策略效率有多高,随着压力不断上升,系统的某个部位总会过载。运维一个可靠系统的一个根本要求,就是能够优雅地处理过载情况。
     
  • 简单地使用CPU数量作为资源配给的主要信号就可以工作得很好,原因如下:
    (a)在有垃圾回收(GC)机制的编程环境里,内存的压力通常自然而然地变成CPU的压力(在内存受限的情况下,GC会增加)。
    (b)在其他编程环境里,其他资源一般可以通过某种比例进行配置,以便使这些资源的短缺情况非常罕见。
     
  • 应对过载:
    (a)给每个用户设置限制
    (b)客户端侧的节流机制

自适应节流的技术来实现客户端节流。具体地说,每个客户端记录过去两分钟内的以下信息:

  • 请求数量(requests):应用层代码发出的所有请求的数量总计(指运行于自适应节流系统之上的应用代码)。
  • 请求接受数量(accepts):后端任务接受的请求数量。

在常规情况下,这两个值是相等的。随着后端任务开始拒绝请求,请求接受数量开始比请求数量小了。客户端可以继续发送请求直到requests=K *accepts,一旦超过这个限制,客户端开始自行节流,新的请求会在本地直接以一定概率被拒绝(在客户端内部),概率使用公式进行计算:
公式:客户端请求拒绝概率
在这里插入图片描述
当客户端开始自己拒绝请求时,requests会持续上升,而继续超过accepts。这里虽然看起来有点反直觉,因为本地拒绝的请求实际没有到达后端,但这恰恰是这个算法的重点。随着客户端发送请求的速度加快(相对后端接受请求的速度来说),我们希望提高本地丢弃请求的概率。
 
对那些处理请求消耗的资源和拒绝请求的资源相差无几的系统来说,允许用50%的资源来发送拒绝请求可能是不合理的。在这种情况下,解决方案很简单:通过修改客户端中算法的accepts的倍值K(例如,2)就可解决:

  • 降低该倍值会使自适应节流算法更加激进。
  • 增加该倍值会使该算法变得不再那么激进。

举例来说,假设将客户端请求的上限从request=2 * accepts调整为request=1.1* accepts,那么就意味着每10个后端请求之中只有1个会被拒绝。一般来说推荐采用K=2,通过允许后端接收到比期望值更多的请求,浪费了一定数量的后端资源,但是却加快了后端状态到客户端的传递速度。举例来说,后端停止拒绝该客户端的请求之后,所有客户端检测到这个变化的耗时就会减小。

 

  • 重要性:全局配额和限制机制中比较有用的信息
    (a)最重要 CRITICAL_PLUS
    (b)重要 CRITICAL
    (c)可丢弃的SHEDDABLE_PLUS
    (d)可丢弃的SHEDDABLE

将重要性属性当成RPC系统的一级属性,以便系统在处理过载情况下可以使用该信息。例如:

  • 当某个客户全局配额不够时,后端任务将会按请求优先级顺序分级拒绝请求(实际上,全局配额系统是可以按重要性分别设置的)。
  • 当某个任务开始进入过载状态时,低优先级的请求会先被拒绝。
  • 自适应节流系统也会根据每个优先级分别计数。

 

  • 处理过载请求
    (a)数据中心中的大量后端任务都处于过载状态
    (b)数据中心中的一小部分后端任务处于过载状态

如果后端请求将重试和新请求同等对待,快速拒绝仍然是最好的选择。这些请求可以立刻在另外一个可能有空余资源的任务上重试。同等对待重试请求和新请求事实上形成了一种天然的负载均衡机制:可以将多余的负载自动转移给其他的任务。

 

  • 针对大量后端任务过载的情况有几个方法来避免进行重试。
    (a)增加了每次请求重试次数限制,限制重试3次。某个请求如果已经失败3次,我们会将该错误回应给调用者。这里的逻辑是指,如果一个请求已经三次选择了过载的任务,再重试也很可能无济于事,这时整个数据中心可能都处于过载状态。
    (b)实现了一个每客户端的重试限制。每个客户端都跟踪重试与请求的比例。一个请求在这个比例低于10%的时候才会重试。这里的逻辑是,如果仅仅只有一小部分任务处于过载状态,那么重试数量应该是相对较小的。

如果多层都要进行重试,会造成批量重试爆炸情况。

 

  • 有时候我们仅仅考虑后端处理接收的请求所造成的负载(这也是用QPS来建模负载的一个问题),然而却忽略了其他因素,比如维护一个大型连接池的CPU和内存成本,或者是连接快速变动的成本。这样的问题在小型系统中可以忽略不计,但是在大型RPC系统中很快就会造成问题。
     
  • 超大规模的批处理任务会在短时间内建立大量的客户端。协商和维护这些超大数量的连接可以造成整个后端的过载。以下策略可以帮助消除这些问题:
    (a)将负载传递给跨数据中心负载均衡算法(如,使用资源利用率进行负载均衡,而不仅仅是请求数量)。在这种情况下,过载请求会被转移到其他数据中心。
    (b)强制要求批处理任务使用某些特定的批处理代理后端任务,这些代理仅仅转发请求,同时将回复转发给客户端。于是,请求路线从“批处理客户端→后端”变为“批处理客户端→批处理代理→后端”。在这种情况下,当大型的批处理任务执行时,只有批处理代理任务会受到影响,而保护了真正的后端任务(也随之保护了其他的高优先级客户端)。
     
  • 有很多工具可以用来实现良好的负载均衡和过载保护机制,但是这里没有万能药:要进行负载均衡经常需要深入了解一个系统和它的请求处理语义。
解密高并发系统的瓶颈:五大解决方案 在互联网应用中,高并发是指在短时间内同时有大量的用户访问一个网站或服务,造成系统压力过大,导致服务器宕机或服务停止响应的情况。高并发是互联网应用面临的一个重要问题,需要采取一系列措施来解决。负载均衡、缓存、数据库优化、异步处理和分布式架构是解决高并发问题的主要方法。在实际应用中,需要根据具体情况选择不同的方法来解决高并发问题。在高并发情况下,使用负载均衡是解决问题的一种常见方法。负载均衡可以通过将请求分配到多个服务器上,从而减少单个服务器的负载。这可以通过硬件设备或软件实现。 阅读详情

相关推荐

详解各类以太网标准10BASE-T/100BASE-T4/100BASE-FX/1000BASE-X等

以太网是现实世界中最普遍的一种计算机网络。以太网有两类:第一类是经典以太网,第二类是交换式以太网,使用了一种称为交换机的设备连接不同的计算机。经典以太网是以太网的原始形式,运行速度从3-10 Mbps不等;而交换式以太网正是广泛应用的以太网,可运行在100Mbps、1000Mbps和10000Mbps高速率,分别以快速以太网、千兆以太网和万兆以太网的形式呈现

不积跬步,无以至千里! 5万+

处理过载(google-sre-book译文)

因此,我们的做法是将关键性设置为尽可能接近浏览器或移动客户端(通常在生成要返回的 HTML 的 HTTP 前端中),并且仅在堆栈中的特定点有意义的特定情况下覆盖关键性。我们通过惨痛的教训学到了这一教训:将容量建模为“每秒查询数”或使用请求的静态特征,这些特征被认为是它们消耗的资源的代理(例如,“请求读取了多少个键”)通常会导致对于一个糟糕的指标。从我们的负载均衡策略的角度来看,请求的重试与新请求没有区别。一个表现良好的后端,在强大的负载平衡策略的支持下,应该只接受它可以处理的请求,并优雅地拒绝其余的请求。

MayMatrix 的博客 426

【一】PCIe基础知识

Linux PCIe基础知识

他山之石 可以攻玉 4万+

什么是防抖和节流?如何实现防抖和节流? 根据鼠标移动事件获取当前鼠标的坐标值,实现“普通鼠标移动”、“防抖效果”、“节流效果”、“Bom浏览器对象模型”。

什么是防抖和节流?如何实现防抖和节流? 根据鼠标移动事件获取当前鼠标的坐标值,实现“普通鼠标移动”、“防抖效果”、“节流效果”、“Bom浏览器对象模型”。

CYSNLD的博客 989

VisionMaster图像源模块的5个隐藏功能:从自动切换到二次开发接口

本文深入解析了VisionMaster图像源模块的5个隐藏功能,从基础的自动切换与字符触发过滤,到高级的脚本扩展与基于COM组件的二次开发接口。这些功能能显著提升工业视觉项目的自动化水平、灵活性与系统集成能力,帮助开发者实现更高效的离线测试流水线和外部精确控制。

rgv23456789的博客 652

H3C交换机S-MLAG实战:如何用bond4模式实现服务器高可用(附避坑指南)

本文详细介绍了H3C交换机S-MLAG技术与服务器bond4模式的实战配置,帮助实现跨设备链路聚合的服务器高可用方案。通过解析S-MLAG技术优势、bond4模式选择、关键配置步骤及常见问题排查,提供了一套完整的避坑指南和优化建议,适用于企业级网络架构的高可用需求。

weixin_30790841的博客 466

SRE_Google运维解密_笔记

1.70%的事故由变更引起 2.谷歌的SRE倾向于DEVOPS,兼顾效率(快速上线更新)与质量(降低事故率) 3.SRE大致发展历程:手动(凭经验容易误操作)→自动→智能 4.缓慢的不断重启的实例优于永不重启泄露资源的实例 5.SLA(service level agreement):请求延迟;错误率;系统吞吐量(QPS);可用性;持久性 SLO(object):SLI的目标范围 SLI(indicator):从目标反推指标 6.多创新,少做琐事(DRY),但合理的琐事有助于放松 7.监控系

m0_70751647的博客 1449

【WRF-UCM】BEP+BEM 模拟:README

【WRF-UCM】BEP+BEM 模拟:README

WW、forever的博客 223

SRE Google 运维解密--管理

一、迅速培养SRE加入on-call 在SRE团队的职责中,主动性任务和被动性任务兼有,每个SRE团队都坚守的一个重要目标是:利用积极主动的办法,去减少和限制被动性工作的产生。 SRE培训课程 推荐的培训方式 错误的培训方式 设计一个具体的、有延续性的学习体验,以便学员跟进 通过给学员安排一些烦琐的工作(处理警报/工单)来培训

watermelonbig的专栏 7470

30、优化算法在芯片布局与药物设计中的应用

本文探讨了优化算法在芯片布局与药物设计中的关键应用。针对芯片布局问题,提出了一种改进的粒子群优化(PSO)方法,通过引入转向因子、重叠检测与消除机制以及优先处理约束模块,有效优化了芯片面积、线长和运行时间,并在有无布局约束条件下均优于传统方法。在药物设计领域,介绍了基于蚁群优化(ACO)的PLANTS算法,用于解决蛋白质-配体对接问题,通过离散化连续变量、信息素更新、局部搜索和聚类处理,提高了构象预测的准确性。文章还总结了两种算法的操作流程,并展望了未来在多约束集成与算法融合方向的发展潜力。

egg99的博客 95

视觉系统设计实例(halcon-winform)-10.PLC通讯

工业视觉项目少不了与下位PLC进行数据通讯,例如产品就位通知视觉进行拍照检测,视觉开始触发光源相机拍照进行图像处理,最后结果输出形成闭环,像我们常用的西门子PLC三菱PLC等等都有相应的通讯方式,大都是定义通讯标记的地址,进行地址轮询校验识进行对应的操作。...

acheng 3803

SRE Google 运维解密 具体实践一

一、基于时间序列数据进行有效报警 Borgmon是google使用的时间序列监控系统,在开源软件中Prometheus是非常类似的一款工具。这个软件将收集时间序列信息作为监控系统的首要任务,同时发展了一种丰富的时间序列信息操作语言,通过使用该语言将数据转化为图表和报警。 因为总是会有大批量的服务器在上线、下线,建立和维护一个有效的服务注册、发现系统是很有必要的。上线的主机需要能主动让B

watermelonbig的专栏 7363

第5课 SQL入门之高级数据过滤

如何用AND和OR操作符组合成WHERE子句;如何明确地管理求值顺序,如何使用IN和NOT操作符

warlack007的博客 868

《SRE:Google 运维解密》读书笔记31: 通过嵌入SRE的方式帮助团队从运维过载中恢复 - 当SRE团队陷入“运维漩涡”

嵌入SRE = 一名临时顾问,不是替团队清空票单,而是帮助团队建立SLO、区分琐事、识别“火种”,让团队从内部打破“50%规则失效”的恶性循环。关键点一句话概括问题背景票单量持续增长导致50%规则被长期打破,团队精疲力竭嵌入SRE的定位临时顾问,职责是改进团队的实践,而非直接处理票单一人原则一个嵌入SRE比两个更有效,两个可能触发团队防御性反应第一阶段了解服务与背景,区分“核心但很小”与“快速增长”的服务第二阶段找出最大压力源,关注中断数量而非处理速度第三阶段。

2139

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

《SRE:Google 运维解密》读书笔记22: 应对过载 - 当负载均衡“失效”之后

应对过载 = 放弃QPS陷阱,以CPU为核心建模容量,通过客户端自适应节流主动限流,按优先级分级处理请求,在过载时优雅降级而非灾难性崩溃。关键点一句话概括核心前提无论负载均衡多有效,系统终将过载——优雅处理过载是可靠系统的根本要求QPS陷阱仅凭QPS评估容量不可靠,必须以CPU等资源消耗作为容量衡量标准CPU建模信号在GC语言中内存压力→CPU压力,使CPU成为资源配给的“一站式”信号优雅降级过载时返回质量降低但成本大幅减少的响应,而非直接崩溃客户限额。

1743

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

《SRE:Google 运维解密》读书笔记29: 迅速培养SRE加入on-call - 培训, 是对人最重要的投资

SRE培训 = 系统性蓝图导航 + 目标性项目赋能 + 反向工程锻造思维——让新手在信任和安全感中快速成长为值得信赖的on-call工程师。关键点一句话概括信任是基石培训的目标是让团队可以相互信任——相信每个人在关键时刻都能靠得住三大核心问题除了“教什么”,还要考虑如何评估、如何双赢、如何让大家都喜欢培训蓝图X轴(抽象→具体) + Y轴(时间),正式on-call是重要里程碑新手三大焦虑“我在做什么”“进度如何”“何时能on-call”——培训需要回答这些问题系统性原则。

2330

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

《SRE:Google 运维解密》读书笔记19: SRE中的软件工程 - 当SRE从“运维”走向“开发”

SRE中的软件工程 = 将生产运维的知识和经验固化为可复用的内部产品,以团队规模的线性增长支撑服务规模的指数级增长,同时为SRE工程师提供职业发展的工程通道。关键点一句话概括隐形软件工程Google有大量消费者看不见的软件工程,很多在SRE内部完成三大开发优势生产知识深度 + 直接使用者 + 高质量反馈产品化思维SRE工具不是一次性脚本,而是有路线图的成熟项目核心原则团队规模不应随服务增长而线性扩展Auxon案例将容量规划从“预测驱动”升级为“意图驱动”职业发展双通道。

1872

《SRE:Google 运维解密》读书笔记35: 结论 - 从Google的实践到行业的启示

SRE不是一套工具,而是一场文化变革——它通过拥抱风险、消除琐事、从失败中学习、数据驱动决策,将软件工程思维注入运维,让可靠性成为可量化的、可持续的核心竞争力。关键点一句话概括SRE的本质用软件工程方法解决运维问题,是文化变革而非工具集五大核心理念拥抱风险、消除琐事、简单化、从失败中学习、数据驱动决策50%规则SRE必须将至少一半时间投入开发工作,防止退化为纯运维错误预算用“1-SLO”定义可接受的故障额度,平衡创新与稳定无指责文化事故后分析系统缺陷而非追究个人,是坦诚复盘的基础。

2362

《SRE:Google 运维解密》读书笔记06: 少琐事 - SRE的隐形敌人

琐事就是运维服务中手动性的、重复性的、可以被自动化的、战术性的、没有持久价值的工作,而且,琐事与服务呈线性关系的增长。一个经典案例:运维人员收到"磁盘目录满"告警后,手动登录服务器清理日志文件。这件事手动、重复(下次磁盘还会满)、可以被自动化、没有持久价值(清理完服务状态没有任何改进),且随着服务器数量增长,这类工作的频次会线性增加。另一个琐事密集场景:周期性报表和周期性巡检。这类工作虽然看似"有必要",但如果每次都需要人工执行,就完全符合琐事的定义——重复、可自动化、缺乏持久价值。

1580

《SRE:Google 运维解密》读书笔记12: on-call轮值 - SRE的“生命线”

on-call 轮值是 SRE 保障服务可靠性的核心机制,通过主副值班制、多地团队、25%运维时间红线和12小时≤2事件的质量标准,让应急响应可持续。关键点一句话概括on-call 的核心目标服务可靠性(分钟级响应)+ 团队可持续性(避免疲劳战)主副值班制主 on-call 负责主要响应,副 on-call 作为备份和协助多地团队优势避免夜间值班损害健康 + 控制团队规模保障熟悉度数量平衡纯运维时间 ≤ 25%,至少 50% 投入研发质量平衡。

1742

《SRE:Google 运维解密》读书笔记01: 为什么要学习Google SRE & Google SRE 可以带给我们什么?

SRE:Google 运维解密》是一本教你如何在高速迭代中保持系统稳定的工程圣经。掌握现代高可用系统的构建方法论;具备用工程思维解决运维问题的能力;成为团队中推动可靠性和效率提升的关键人物;在职业发展中拥有 DevOps/SRE/平台工程等热门方向的核心竞争力。建议搭配实践:读完一章后,尝试在你的项目中落地一个概念(比如定义一个 API 的 SLO,或写一个自动化脚本减少重复操作)。PS: 如果你正在构建或维护线上系统,这本书值得反复精读!!!

1563

读书笔记(SRE:Google运维解密):第17章 测试可靠性

对服务质量的自信可以用过去的系统可靠度和未来的系统可靠度来衡量。前者可以通过抓取和分析历史性监控信息来获得,后者可以用基于历史数据的预测来量化。为了让这些预测信息足够准确,必须满足下列条件中之一: (a)在这段时间内,该系统完全没有改变。包括没有任何软件更新以及服务器数量变化,这意味着未来的行为方式应该与过去的行为方式类似。 (b)可以充分描述整个系统的所有改变,这样可以针对每个系统变化引入的不确定性进行分析。   软件测试的类型:传统测试和生产测试 (a)传统测试: 1)单元测试:单元测试(.

lo_ong的博客 716

《SRE Google运维解密》读书笔记

SRE团队职责:确保服务可以正常运转 可用性改进 延迟优化 性能优化 效率优化 变更管理 (渐进式发布) 监控 紧急事务处理 容量规则与管理 (N+2 模式,google--> 15倍) SRE核心处理思想: 灾难预演与演习 确保系统按照预想方式应对故障 寻找系统中未预料的弱点 寻找其他提高鲁棒性的方式避免事故发生 从组织架构层面关注 关注...

victorzzzz的专栏 1269

《SRE:Google 运维解密》读书笔记23: 应对连锁故障 - 从“局部过载”到“全局崩溃”

关联章节关联点第13章 紧急事件响应连锁故障的初期表现通常是一次紧急事件;如果处理不当,局部问题会迅速扩大为全局危机第14章 紧急事故管理当连锁故障已经发生时,第14章的事故管理流程是协调多团队响应、控制影响范围的关键第15章 事后总结每次连锁故障都需要事后总结,将“GC死亡螺旋”“重试风暴”等模式沉淀为组织的知识资产第16章 跟踪故障事后总结中识别的行动项目需要通过跟踪系统闭环管理,确保改进措施真正落实第21章 应对过载。

2553

《SRE:Google 运维解密》读书笔记34: 从其他行业吸取的经验教训 - 跳出软件工程看可靠性

事后总结文化是SRE四大核心主题中的第二项。本章比较了不同行业如何从失败中学习。跨行业比较揭示了一个普世真理:高可靠性不是某个行业的专利,而是系统化准备、从失败中学习、自动化与结构化决策四大支柱共同支撑的结果——SRE不是孤立的学科,而是人类追求可靠性的共同智慧在软件领域的体现。关键点一句话概括四大核心主题备灾测试 + 事后总结 + 自动化 + 结构化决策——跨行业比较的简化框架备灾测试的共性航空模拟器、核海军演习、软件DiRT——都在“可控环境中暴露系统弱点”事后总结的共性。

2403

《SRE:Google 运维解密》读书笔记03: SRE 理念 - 从“零故障”到“理性风险”

本文摘要:SRE(Site Reliability Engineering)是一种用软件工程方法解决运维问题的实践,核心是让软件工程师负责运维工作。与传统运维不同,SRE强调自动化、50%开发时间、拥抱风险(通过错误预算机制)和消除重复性工作。Google的SRE团队分为产品SRE、基础设施SRE和共享平台SRE三种形态,要求成员具备软件开发能力。SRE七大原则包括:拥抱风险、设定SLO目标、消除琐事、监控系统、自动化、发布工程和追求简单性。SRE与DevOps互为补充,前者提供具体方法论,后者提供文化框架

1652
上一篇: 读书笔记(SRE:Google运维解密):第20章 数据中心内部的负载均衡系统
下一篇: 读书笔记(SRE:Google运维解密):第22章 处理连锁故障
github_37320188
博客等级 码龄10年 24粉丝 86原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值