SRE 18、19章学习笔记

18章 SRE 部门中的软件工程实践


为什么软件工程项目队SRE很重要?


SRE软件工程非常合适的有效原因有:


1、sre 工程师对企业内部生产环境在深度和广度上知识技能储备,能够应对大规模部署、灾难快速恢复和降级、高效率的工具软件


2、SRE 是工具的使用者和开发者,更能深刻理解开发工具的要点


3、得到使用SRE工具的高效率反馈



Auxon 是google SRE 内部开发的一个自动化容量规划工具  替代了以前传统容量规划方法(时间长、效率低下、成本高)


Auxon: 是通过基于意图的容量规划来解决用户需求


完整表达某个服务的意图:因素包括 依赖关系、性能指标、优先级



Auxon 主要组件:


数据信息:描述某个服务的规模化能力


资源供给:提供基础资源的可用性


资源价格:


意图配置信息:向Auxon 输入基于意图信息的关键渠道  定义了每个服务、及服务之间的依赖关系


Auxon配置语言引擎:从意图配置信息提取,转化为Auxon 求解器需要的格式


Auxon求解器: 是Auxon的大脑


资源分配计划: Auxon 求解器后 分配给的资源



类似Auxon的软件工程项目: 应该要快速发布和迭代




在SRE团队培养软件工程风气


Google SRE体系内部软件开发的一些成功经验:


1、创建并宣扬一个明确的信息---战略目标   数据库的作战运营平台\ 数据库自动化运维\智能化\   问题/告警的 自治\自优


2、评估组织能力


3、快速发布迭代


4、不要降低标准


-------------------------------------------


19章 前端服务器的负载均衡---google 如何在数据中心之间调节用户流量,做到负载均衡


使用DNS 进行负载均衡


DNS负载均衡 最关键的是“最优位置”   google 采用GSLB(全局负载均衡系统) 



DNS负载均衡之后再加一层---虚拟IP



VIP 实现部分通过网络负载均衡器实现(network load balancer)--接收到用户请求,并将请求转发给后端服务器



google 现在采用的VIP负载均衡解决方案是 包封装模式


--将待转发的网络包采用通用路由协议封装封装到另外一个IP包中,使用后端服务器地址作为目标地址



封装带来包的尺寸增加,需要碎片化重组






来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28211342/viewspace-2213192/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/28211342/viewspace-2213192/

从Notebook到生产:构建可信赖的ML系统韧性架构 机器学习模型部署不是简单的API封装,而是面向真实世界不确定性的系统工程。其核心在于理解模型服务的动态性——数据分布漂移、特征逻辑变更、硬件资源波动等持续挑战着‘静态函数’式假设。技术价值体现在通过功能解耦、契约驱动与可观测性闭环,实现故障可预期、影响可收敛、恢复可编排。典型应用场景包括电商推荐实时服务、金融风控在线推理、广告点击率预估等对延迟、稳定性与归因效率有严苛要求的产线系统。本文聚焦Triton模型服务、特征一致性保障与KS检验驱动的漂移监控等关键实践,直击从Jupyter到Kubernetes落地 阅读详情

相关推荐

研究型ML与生产型ML的本质差异:从指标优化到系统生存

机器学习(ML)作为基础技术概念,其核心价值在于将数据转化为可执行决策。但在实际落地中,‘研究型ML’与‘生产型ML’遵循截然不同的工程逻辑:前者聚焦模型表达力与离线指标提升,依赖静态数据、无限算力与零失败成本;后者则以系统韧性为第一要务,必须应对数据漂移、实时性约束、资源限制与高故障代价。这种差异本质是技术范式迁移——从单点算法优化转向全链路可观测、可回滚、可审计的服务化体系。尤其在金融风控、电商推荐、智能医疗等强SLA场景中,‘production readiness’(生产就绪)已超越模型精度,成为决

corg81763的博客 485

集中力量办大事的软件交付方式

前段时间听到某些组织是这样做决策的:1.大大大大领导决定做一个平台2.大大大领导“心领神会”后,思考平台要解决的问题3.大大领导拿到“方向”后,进行业务分析4.架构师根据业务分析的结果进行...

apl359的博客 571

机器学习模型上线实战:从Notebook到生产环境的工程化落地

机器学习模型部署不是简单封装API,而是涵盖数据契约、服务韧性、可观测性与合规审计的系统工程。其核心在于突破Notebook的确定性幻觉,应对生产环境的数据延迟、特征漂移、硬件异构与业务变更等混沌因素。关键技术价值体现在模型安全加载(如safetensors替代pickle)、中心化特征服务保障幂等性、基于业务语义的黄金监控信号(数据新鲜度、预测一致性、影响面)以及代码级自动化算法备案。典型应用场景包括高并发推荐、实时风控与AI能力中台建设,尤其适用于正从Kaggle迈向真实交付的算法工程师、需建立交付底线

anwenzhao0749的博客 598

《SRE:Google 运维解密》读书笔记19: SRE中的软件工程 - 当SRE从“运维”走向“开发”

SRE中的软件工程 = 将生产运维的知识和经验固化为可复用的内部产品,以团队规模的线性增长支撑服务规模的指数级增长,同时为SRE工程师提供职业发展的工程通道。关键点一句话概括隐形软件工程Google有大量消费者看不见的软件工程,很多在SRE内部完成三大开发优势生产知识深度 + 直接使用者 + 高质量反馈产品化思维SRE工具不是一次性脚本,而是有路线图的成熟项目核心原则团队规模不应随服务增长而线性扩展Auxon案例将容量规划从“预测驱动”升级为“意图驱动”职业发展双通道。

1866

UEC++ 虚幻5笔记(数字孪生示例) day13

文件读取与写入,数字孪生入门制作

qq_44924388的博客 3842

Avalonia v11实战:手把手教你从零创建第一个跨平台桌面App(含设计器不显示的解决方案)

本文详细介绍了如何使用Avalonia v11从零开始创建跨平台桌面应用,包括环境准备、项目创建、界面设计及常见问题解决方案。特别针对设计器不显示等常见问题提供了实用解决方法,帮助.NET开发者快速掌握这一强大的UI框架,实现Windows、macOS和Linux多平台应用开发。

weixin_30417487的博客 163

SRE(运维)最重要的是什么,看这一篇就够了

对于业务运维工程师来说什么最重要要,答案就是稳定性。更多文章可以关注微信公众号“SRE说” 稳定性概述 1.1 稳定性为什么重要 稳定性对于SRE来说 就是 10000前面的这个1 无论1后面几个0,一旦这个1没有做好,那么最终的结果只能等于0,稳定性也是SRE的最核心的R 稳定性好比一个人的健康,如果没有一个健康的身体,其他都是徒劳无功 如何稳定性做不好带给公司和个人的都将会是一个难以想象的损失,同时稳定性不仅仅在互联网领域在航天领域、工业领域都是最核心的保障。 这里看几个有名的case 切尔

hei_ban的专栏 4761

105. replace( )函数

【目录】

weixin_63986098的博客 1万+

SRE Google 运维解密 具体实践一

一、基于时间序列数据进行有效报警 Borgmon是google使用的时间序列监控系统,在开源软件中Prometheus是非常类似的一款工具。这个软件将收集时间序列信息作为监控系统的首要任务,同时发展了一种丰富的时间序列信息操作语言,通过使用该语言将数据转化为图表和报警。 因为总是会有大批量的服务器在上线、下线,建立和维护一个有效的服务注册、发现系统是很有必要的。上线的主机需要能主动让B

watermelonbig的专栏 7362

Cyclone MAX独立编程实战:从硬件接口到SAP镜像的嵌入式烧录指南

在嵌入式系统开发与量产中,固件烧录是连接软件与硬件的关键环节。其核心原理是通过特定的调试接口(如JTAG、BDM)和编程算法,将编译后的机器码写入目标处理器的非易失性存储器。这项技术的价值在于确保软件在硬件上的可靠部署,是产品功能实现和质量保证的基础,广泛应用于汽车电子、工业控制等对一致性与可靠性要求极高的领域。独立编程器(Stand-Alone Programmer)在此基础上,通过集成存储、交互界面和任务逻辑,实现了脱离PC的自动化操作,极大提升了产线效率和现场维护的便捷性。本文以Cyclone MAX

weixin_34038293的博客 466

Unity跨平台存储避坑指南:persistentDataPath权限真相

Application.persistentDataPath是Unity中用于持久化数据的核心路径,表面提供跨平台抽象,实则底层访问机制因操作系统而异。其原理并非简单路径映射,而是受Android Scoped Storage、iOS Data Protection、Windows组策略及macOS隐私权限等多层安全模型动态约束。技术价值在于保障用户数据长期可靠存储,但若忽略平台差异,极易引发‘本地正常、真机崩溃’‘iOS可存、Android报错’等线上事故。典型应用场景包括游戏存档、离线缓存、自定义资源包

weixin_32073537的博客 350

google sre运维解决 读后感 - 第二篇(16-21章)

跟踪故障 提高可靠性的唯一可靠的方法论是建立一个极限,同时不断跟踪改变。  测试可靠性 如果你还没有亲自试过某件东西,那么就假设它是坏的。 SRE的一项关键指责就是要定量地分析我们维护的某项服务的质量。对服务质量的自信可以用过去的系统可靠度和未来的系统可靠度来衡量。前者可以通过抓取和分析历史性监控信息来活得,后者可以用给予历史数据的预测来量化。 如果我们在短时间内做了大量改动,等待监控数据再积累一段

vbaspdelphi的专栏 2062

开源项目 ruoyi-sso-oauth2(一)环境配置

Ruoyi若依实现单点登录SSO、oauth2认证

Xiaoweidumpb 9683

从Notebook到生产环境:机器学习模型的全生命周期运维实战

机器学习模型部署不是终点,而是工程化落地的起点。本文围绕模型在真实生产环境中的稳定性、可观测性与韧性展开,深入解析数据契约、模型服务化(如Triton)、ML专属监控(PSI/置信度熵)、熔断降级等核心机制。聚焦‘实验室到产线’的关键鸿沟,强调输入可审计、输出可追溯、故障可回滚的MLOps实践逻辑。内容覆盖特征漂移检测、热重载更新、混沌演练验证等高频痛点,为算法工程师、SRE及技术决策者提供可直接复用的生产级交付方法论。

weixin_33884611的博客 385

以 DeleteRestrictions 与 inlineDelete 为核心的 Fiori Elements 表格删除机制全解

SAP Fiori elements 中删除操作的设计与实现涉及多维度考量。框架默认依据 OData 元数据判断删除能力,通过 DeleteRestrictions 注解实现行级条件控制(deletable-path)。表格支持两种删除模式:工具栏集中删除与响应式表格行内删除,但二者不建议混用。关键约束包括:行内删除仅适用于 Responsive Table,且与多选功能互斥。配置需遵循三层架构:后端能力注解、前端表格形态和运行时交互。设计上强调禁用优于隐藏的可用性原则,并需保持列表页与对象页的删除体验一致

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 152

软考高级信息系统项目管理师系列论文之:百篇软考高级信息系统项目管理师论文范文

软考高级信息系统项目管理师系列论文之:百篇软考高级信息系统项目管理师论文范文

zhengzaifeidelushang的博客 3579

SRE 学习 - 承认系统的不完美性

从传统运维中与稳定性相关的工作内容提炼出来进行升华,构建了 SRE 的方法论体系。冗余和容灾、容量规划、系统自动保护、失败预案、监控能力、发布与变更管理、故障应急处理等构成了 SRE 领域的蓝图,并不断地快速迭代着。Mikey 金字塔是由美国数字服务公司的 Mikey Dickerson 设计的。层次结构是为了说明,当尝试提高系统可靠性时需要按部就班,在到达更高级别之前满足每个低别级的要求。方法论的落地实施离不开相关组织和个人,方法论的落地还需要有一系列配套的技术产品和工具来支撑。

weixin_48251836的博客 939

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Linkedin SRE 中文教程(一)

应该能够熟练使用任何操作系统,如 Windows、Linux 或 Mac期望对操作系统有基本的了解我们大多数人都熟悉 75%以上的个人电脑使用的 Windows 操作系统。Windows 操作系统基于 Windows NT 内核。内核是操作系统中最重要的部分——它执行重要的功能,如进程管理、内存管理、文件系统管理等。Linux 操作系统基于 Linux 内核。基于 Linux 的操作系统将由 Linux 内核、GUI/CLI、系统库和系统实用程序组成。

龙哥盟 4089

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

B. 智能运维 --- 成本优化 --- 容量规划

B. 智能运维 --- 成本优化 --- 容量规划 概述 核心:成本和性能 作用 判断现有系统规模还可以再承载多少流量 对于新增的流量,采购设备时给予指导,花最少的钱办同样的事 流量切换时可以量化 优化服务规模 目标 节省成本 节省人力 前提条件 多少业务,业务量是多少,对应到各个系统的调用量 查询量/数据量 如果出现...

micklongen的专栏 2147

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

读书笔记(SRE:Google运维解密):第18章 SRE部门中的软件工程实践

SRE进行软件工程非常合适和有效的原因是: (1)SRE组织内所拥有的Google特有的生产环境构建知识的深度和广度使得SRE工程师可以设计和实现出能够应对大规模部署,能够在灾难中优雅降级,可以和其他基础设施项目和工具良好集成的软件。 (2)SRE是自己工具的直接使用者,所以SRE能够深刻理解要开发工具的重点在哪里。 (3)与这些工具的直接用户——其他SRE——的密切联系使得获取直接的和高质量的用户反馈变得很容易。向一个对问题和解决方案都很熟悉的内部团体发布工具可以让开发团队更快地进行迭代。内部用户一般对.

lo_ong的博客 428

SRE学习知识点

1.监控 日志监控:Elastic + kibana+ flume 服务器监控:zabbix prometheus 2.自动化部署 自动化部署:ansible(python) 进阶:基础设施即代码 配置管理:confd(go) 3.数据库 mysql redis etcd 4.灰度及现网实现 openresty(lua) ...

曹鑫的博客 1081

【我拼搏的2016】-苦逼运维如何变身为SRE成长经历

提起运维很多人能联想到的字眼就有“苦逼”、“辛苦”、“加班”、“背锅”,随着国内互联网大潮的兴起,特别是最近几年互联网行业的火爆,催生了大批运维从业人员。类似于当年网络管理员的职业发展,由于普通人对于该领域专业知识的匮乏和良莠不齐的从业人员素质,拉低了整个社会对于这一职业的认知,和当今的运维职业何其相似。 作为运维大军中的一员,我也是经历过从自己摸...

weixin_33830216的博客 346

Kaldi sre10, sre16 数据格式

做个记录, 给大多数跑脚本但是又没有官方数据的朋友一起交流讨论: 引用自己在知乎的回答: 跑kaldi的脚本到最后都是得用自己的数据去训练去测试的, kaldi只需要三个文件utt2spk, spk2utt和wav.scp. 具体的你其实可以看看他们做数据的perl脚本, 我个人是用python写一个脚本把数据集变成kaldi可读的格式的, 我代码弱智水平都能做,相信大牛的你们也没问题的....

robingao1994的博客 4218

机器学习数据集(Dataset)汇总

1. CIFAR-10 & CIFAR-100     CIFAR-10包含10个类别,50,000个训练图像,彩色图像大小:32x32,10,000个测试图像。     (类别:airplane,automobile, bird, cat, deer, dog, frog, horse, ship, truck)     (作者:Alex Krizhevsky, Vinod Nair,

MyArrow的专栏 2万+

kaldi基础介绍(一)在说话人识别中的数据准备

在kaldi说话人识别示例(egs/sre10,egs/sre16)中,数据总共有两大类,一是训练集(training),二是评估数据集(evaluation)。对于评估数据集又分为两类,一是用来注册(enrollment)的数据集,二是测试(test)集。一、训练集的准备训练集需要准备的文本文件是三类:spk2utt, utt2spk以及wav.scp1 spk2utt 是说话人id(记作spk...

monsieurliaxiamen的博客 7967

SRE(运维工程师)成长路上的十本书籍推荐

今天来整理一下自己在SRE成长路线上一些对自己帮助很大的书籍。 更多内容可以关注微信公众号“SRE说” 运维了解和入门的两本书 书籍一:《网站运维:保持数据实时的秘技》 这本书是我第一次接触到运维时的书籍,对运维有了基本的认知和熟悉,这本书的很多理念虽然已经过时了,但不影响他是一本经典之作。 书籍二:《SRE:Google运维解密》,这本书应该是SRE里面的经典中的经典,运维工程师的名称也改成了SRE;也让大家了解到SRE还可以朝这个方向去努力 运维核心能力三本书 书籍三:《深入...

hei_ban的专栏 5894
上一篇: python学习命令总结
下一篇: oracle ebs 根据请求id找到对应trace 文件
clv18753
博客等级 码龄12年 2粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值