读书笔记（SRE：Google运维解密）：第13章 紧急事件响应

最新推荐文章于 2025-08-24 17:52:43 发布
原创 最新推荐文章于 2025-08-24 17:52:43 发布 · 423 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#运维

这篇博客强调了从事故中学习的重要性，提倡详细记录事故并公开分享，以便全员能从中汲取教训。同时，鼓励提出大胆的假设性问题以预防潜在问题，并推动主动进行系统测试，以提升整体战略和战术应对能力。
  • 向过去学习，而不是重复它
    （a）为事故保留记录：在记录中，请一定要诚实，一定要事无巨细。尤其重要的是，提出关键的问题。时刻寻找如何能在战术及战略上避免这项事故的发生。公布和维护事后报告，确保全公司的每个人都能从中学到你所学到的知识。
    （b）提出那些大的，甚至不可能的问题：假如……
    （c）鼓励主动测试
读书笔记（SRE：Google运维解密）：第14章 紧急事故管理
lo_ong的博客
10-05 514
紧急事故的流程管理要素 （a）嵌套式职责分离：在事故处理中，让每个人清楚自己的职责是非常重要的 （b）控制中心：受到事故影响的部门或者人需要知道他们可以与事故总控负责人联系。在很多情况下，可以设立一个“作战室”（warroom），将处理问题的全部成员挪到该地办公。 （c）实时事故状态文档 （d）明确公开的职责交接 以下是系统中可以分配给某个人的角色： 事故总控（incident command）：事故总控负责人掌握这次事故的概要信息。他们负责组建事故处理团队，按需求和优先级将一些任务分配给团队成员。.
【读书笔记】SRE：Google运维解密 第Ⅰ部分 概览
睡觉的咖啡
08-19 614
研发团队和系统运维团队分属两个部门所带来的间接成本就没那么容易度量了，但是这些间接成本往往大得多。
谷歌是如何做应急响应的
weixin_47208161的博客
04-14 871
简介Google 如何帮助保护客户数据应急响应团队架构应急响应流程识别协调处置完成持续改进总结参考资料简介为客户数据维护安全的环境是 Google Cloud 的首要任务。Google 通...
美团围绕故障管理谈SRE体系建设
jj1130050965的博客
04-23 1594
本文根据石鹏老师在〖deeplus直播第227期〗线上分享演讲内容整理而成。（文末有获取本期PPT&回放的方式，不要错过） 石鹏 美图SRE负责人 2016年加入美图，运维技术专家，目前担任产品SRE负责人。 负责美图社交、直播、电商、商业化等全线产品的运维工作。 我们都知道SRE是一个体系化的工程，SRE体系的建设涉及的内容繁多，比如日常需求处理、容量规划、资源部署、监控告警、预案梳理、灾备演练、OnCall值班、应急事件响应、故障处理、运维自动化建设等等；其中「故障」
夸张的扩容盘！
kflizcst的图形世界
08-29 994
测试CopyU！的新功能 设备容量鉴定 时检测到了一个扩容比例超过70%的设备，JS们真是节操无底线啊！ [这个设备的虚报容量竟然高达74%，我和小伙伴们都惊呆了！]
读书笔记（SRE：Google运维解密）：第22章 处理连锁故障
lo_ong的博客
11-09 522
连锁故障是由于正反馈循环（positivefeedback）导致的不断扩大规模的故障。 连锁故障可能由于整个系统的一小部分出现故障而引发，进而导致系统其他部分也出现故障。例如，某个服务的一个实例由于过载出现故障，导致其他实例负载升高，从而导致这些实例像多米诺骨牌一样一个一个全部出现故障。   连锁故障产生的原因 （a）服务器过载：直接由于服务器过载导致，或间接由于服务器过载引发的其他问题导致 例如，某个集群内部的过载可能会导致该服务实例崩溃；这时负载均衡器会将请求发送给其他集群，使那.
《SRE：Google运维解密》读后有感
学无止境
07-22 1001
当我们进行体系化的思考的后，我们就会有新的收获，并且在解决方案上更加的完善。框架和SRE平台这种模式，提供了很多的益处，比如说显著的降低运维开销，因为它支持代码结构、依赖关系、测试、编码样式指南等的强合规性测试，内置服务部署、监控和自动化，设计中自带的通用性支持，这种在框架中把基于生产最佳实践的代码模式进行标准化封装，让SRE在管理时降低了认知的负担，同时仍然可以保持服务的质量，每一个标准框架都为问题所在的领域或者问题相关的基础设市以来提供了一个完整的解决方案。，其次SRE的关注焦点在于。...
读书笔记（SRE：Google运维解密）：第6章 分布式系统的监控
lo_ong的博客
10-04 453
绝大部分通用的术语： （a）监控（monitoring）：收集、处理、汇总，并且显示关于某个系统的实时量化数据，例如请求的数量和类型，错误的数量和类型，以及处理用时，应用服务器的存活时间等 （b）白盒监控（white-box monitoring）：依靠系统内部暴露的一些性能指标进行监控。包括日志分析、Java虚拟机提供的监控接口，或者一个列出内部统计数据的HTTP接口进行监控。 （c）黑盒监控（black-box monitoring）：通过测试某种外部用户可见的系统行为进行监控。 （d）监控台页面（d.
读书笔记（SRE：Google运维解密）：第17章 测试可靠性
lo_ong的博客
10-09 676
对服务质量的自信可以用过去的系统可靠度和未来的系统可靠度来衡量。前者可以通过抓取和分析历史性监控信息来获得，后者可以用基于历史数据的预测来量化。为了让这些预测信息足够准确，必须满足下列条件中之一： （a）在这段时间内，该系统完全没有改变。包括没有任何软件更新以及服务器数量变化，这意味着未来的行为方式应该与过去的行为方式类似。 （b）可以充分描述整个系统的所有改变，这样可以针对每个系统变化引入的不确定性进行分析。   软件测试的类型：传统测试和生产测试 （a）传统测试： 1）单元测试：单元测试（.
SRE 系列（四）| MTTI 与 On-Call：高效故障响应之道
最新发布
weixin_48711696的博客
08-24 1236
本文重点探讨了SRE体系中如何通过优化MTTI（平均确认时间）来提升故障响应效率。核心观点包括：1）基于SLO和错误预算快速判断故障等级，比依赖用户反馈更及时；2）组织协作机制（如On-Call轮值、War Room）比技术监控更能缩短MTTI；3）提出On-Call五步法：关键角色保障、快速组建应急小组、合理呼叫机制、资源升级通道、云厂商联动。通过优化MTTI这一关键环节，可为后续故障处理赢得时间，从而有效降低系统不可用时长。（149字）
史上最长最全！围绕故障管理谈SRE体系建设
杨建荣的学习笔记
12-13 4352
本文转载自dbaplus社群 id:dbaplus本文根据石鹏老师在〖deeplus直播第227期〗线上分享演讲内容整理而成。（文末有获取本期PPT&回放的方式，不要错过）石鹏美...
Deeplus直播：解锁中台架构、金融监控、运维平台&工具新实践
SRE运维部落
04-23 1342
本期主题属于Deeplus直播系列公益课程，由dbaplus社群主办，目前已连续举办5年。精选运维、数据库、金融科技、大数据、架构、云等技术方向的深度干货内容及实战经验，每周三晚20:0...
关于SRE方法论的一些笔记
山河已无恙
05-11 950
写在前面 阿里系列有一本《云原生操作系统Kubernetes》中作者在前言里讲到 Google开源的Kubernetes和《SRE Google运维解密》这本书是剑法和气功的关系 换句话讲Kubernetes是术，SRE Google运维解密是道 作为云原生基础设施的Kubernetes小伙伴么应该多少有些了解 但是对于SRE却很少有人谈及，和小伙伴分享一些SRE的基础知识 博文主要为《SRE Google运维解密》读书笔记整理 主要为第一部分，摘一些感觉重要。 傍晚时分，你坐在屋檐下，看着天慢慢.
一个Google SRE工程师眼中的8点运维原则
weixin_34195546的博客
03-09 2601
我是 Google 一名 SRE （运维）工程师，在过去系列文章中对『SRE: Google 运维解密』一书提出了自己的见解。本文所有见解皆为个人观点，不代表 Google 公司立场。我们来看书中第一章的一些观点： Google 对运维的解决之道：网站可靠性工程（Site Reliability Engineering）[1]。虽然每个 SRE 团队都有自己的工作流程、优先级定义以及日常工作规范，...
SRE Google 运维解密 具体实践一
watermelonbig的专栏
05-24 7058
一、基于时间序列数据进行有效报警 Borgmon是google使用的时间序列监控系统，在开源软件中Prometheus是非常类似的一款工具。这个软件将收集时间序列信息作为监控系统的首要任务，同时发展了一种丰富的时间序列信息操作语言，通过使用该语言将数据转化为图表和报警。 因为总是会有大批量的服务器在上线、下线，建立和维护一个有效的服务注册、发现系统是很有必要的。上线的主机需要能主动让B
读书笔记（SRE：Google运维解密）：第11章 on-call轮值
lo_ong的博客
10-05 637
作为生产系统的监管者，on-call工程师负责处理生产环境中即将或者正在发生的业务事故，以及评审对生产系统的变更请求。   紧急事件（incident）的定义是：一系列根本原因一致或者相关的事件和报警信息，这些事件应该在同一个事后报告中讨论   现代理论研究指出，在面临挑战时，一个人会主动或非主动（潜意识）地选择下列两种处理方法之一： （a）依赖直觉，自动化、快速行动。 （b）理性、专注、有意识地进行认知类活动。   在应急事件处理过程中，最理想的方法论是这样的：在有足够数据.
应急响应
Amdy_amdy的博客
11-27 4482
最近对应急响应特别感兴趣，特意去搜索了一下，发现网上最多的是对应急响应的6个步骤进行的说明，真正涉及到网络安全的应急响应文章只看到两篇文章，一个是在先知上，一个是在t00ls上。特此整理。其中主要参考链接是：https://xz.aliyun.com/t/1140/#toc-6。 常规的应急响应应该主要包括两个方面： 1.未雨绸缪，即在事件发生前事先做好准备，比如风险评估、制定安全计划、安全意...
从ITIL到SRE：唯品会运维自动化转型实践解析
这份资料以唯品会在2013年至2017年期间运维体系的演进为核心，展示了企业如何在面对大规模业务需求和技术挑战时，从基于ITIL的流程驱动模式逐步转向以SRE（站点可靠性工程）为导向的自动化运维模式。 首先，ITIL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值