读书笔记(SRE:Google运维解密):第25章 数据处理流水线

读书笔记(SRE:Google运维解密):第19章 前端服务器的负载均衡 流量负载均衡(traffic load balancing)   理想情况下,用户流量应该最优地分布于多条网络链路上、多个数据中心中,以及多台服务器上。但是这里的“最优”是如何定义的呢?最优严重依赖于下列几个因素: (a)逻辑层级(是在全局还是在局部)。 (b)技术层面(硬件层面与软件层面)。 (c)用户流量的天然属性。 简化的场景:一个简单的搜索请求和一个视频上传请求。用户想要很快地获取搜索结果,所以对搜索请求来说最重要的变量是延迟(latency)。而对于视频上传请求来说,用户已经预期该. 阅读详情
  • 经典的数据处理方式是通过一个程序读取输入,执行某种模式变换,然后输出新的数据。一般来说,这种程序由类似于Cron的某个周期性的调度程序控制。这种设计模式被称为数据流水线(data pipeline)。经典的数据处理方式是通过一个程序读取输入,执行某种模式变换,然后输出新的数据。一般来说,这种程序由类似于Cron的某个周期性的调度程序控制。这种设计模式被称为数据流水线(data pipeline)。
     
  • 简单流水线设计模式与大数据
    • 对大数据进行周期性的或者是持续性的变形操作的程序通常被称为“简单的,单相流水线”(simple,one-phasepipeline)
    • 由于大数据与生俱来的海量级别和处理的高复杂度,这种程序通常会被串联起来执行,一个程序的输出作为另外一个程序的输入。这种编排方式有很多种原因,但是最常见的原因是,这样设计有助于理解系统的逻辑,但是这在系统效率方面并不一定是最优方案。将这样构建的程序称为多相流水线(multiphase pipeline),因为整个链条中的每一个程序都是一个独立的数据处理单元。
       
  • 周期性的数据流水线非常实用,例如MapReduce和Flume

周期性的数据流水线模型是非常脆弱易坏的。工作进程数量、运行周期、分块处理技术,以及其他参数仔细调校过后,整个流水线的性能可能很稳定。但是随着数据量的自然增长等种种变化会对整个系统造成压力,导致各种各样的问题出现。这种问题包括任务运行超时、资源耗尽,某些分块处理卡住导致整体运维压力上升等。
 

  • 完成整个流水线要依赖于整个流水线中性能最差的分块的完成。

这一块印象深刻,类比编译器编译语言脚本时,扫描脚本之后,构建执行树。执行树中有各种操作,有单线程或多线程,有线程池构成执行多个分块任务等等。假定是在并发线程池任务结束之后程序脚本执行完成,那么执行时间最长的分片任务就决定了程序脚本执行何时结束。
 

  • 分布式环境中周期性数据流水线的缺点:
    • 惊群效应
    • 摩尔负载模式:指两个或者更多的流水线任务同时运行时,某些执行过程重叠,导致它们同时消耗某个共享资源。

对于一个每天运行一次的流水线来说,几个小时的启动延迟可能是可以接受的。但是随着执行频率的增高,每次执行之间的最小时间很快会与平均启动延迟持平,这就使得周期性数据流水线的执行延迟有了一个下限。超过这个阈值继续减少任务执行的间隔周期只会造成更多的问题而不能让任务执行得更快。实际造成的问题和所使用的批处理调度策略有关。例如,新的执行可能会在集群调度器上累积,因为前一次运行还没有结束。更糟糕的是,正在执行的、马上就要结束的运行可能会由于下一次执行马上就要开始而被杀掉,加速运行的操作反而会造成整个流水线完全停滞。

从《视觉SLAM十四讲》到项目实战:一文读懂拓扑地图与语义地图为何是服务机器人的未来 本文探讨了服务机器人地图技术的演进,从传统几何地图到拓扑地图与语义地图的跨越。通过分析栅格地图的局限性和拓扑地图、语义地图的优势,揭示了它们在动态开放环境中的智能应用。文章还介绍了多模态语义融合架构和动态语义更新技术,为服务机器人的未来发展提供了技术路线图。 阅读详情

相关推荐

GD32F103RCT6/GD32F303RCT6(6.2)USART串口实战:从寄存器配置到DMA高效传输

本文详细介绍了GD32F103RCT6和GD32F303RCT6的USART串口通信实战,从寄存器配置到DMA高效传输的全过程。通过具体的代码示例和优化建议,帮助开发者快速掌握串口通信的关键技术,提升嵌入式开发效率。特别强调了DMA在高速数据传输中的优势和应用技巧。

weixin_33725239的博客 309

详解Google V8编译流水线

初始化环境;解析代码生成 AST 和作用域;依据 AST 和作用域生成字节码;解释执行字节码;监听热点代码;优化热点代码为二进制机器代码;反优化二进制机器代码。最近还整理一份JavaScript与ES的笔记,一共25个重要的知识点,对每个知识点都进行了讲解和分析。能帮你快速掌握JavaScript与ES的相关知识,提升工作效率。

梅花寺 643

FRM模型五:Brinson业绩归因

利用Brinson对基金组合业绩进行归因分析。

stonesssssss的博客 3011

运维必备史上最全 Jenkins Pipeline流水线详解

一、什么是流水线jenkins 有 2 种流水线分为声明式流水线与脚本化流水线,脚本化流水线是 jenkins 旧版本使用的流水线脚本,新版本 Jenkins 推荐使用声明式流水线。文档只介绍声明流水线。1.1 声明式流水线在声明式流水线语法中,流水线过程定义在 Pipeline{} 中,Pipeline 块定义了整个流水线中完成的所有工作,比如参数说明:agent any:在任何可用的代理上执行...

关注微信公众号【开源Linux】,后台回复『10T』,领取10T学习资源大放送,涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频 2573

从“跳变”到“连续”:深入理解霍尔传感器插值与PLL角度估算的优劣与选择

本文深入解析霍尔传感器角度估算技术,对比线性插值法和锁相环(PLL)跟踪法的优劣,为电机控制领域的工程师提供实用指南。通过STM32F407和CubeMX的实例,详细探讨两种方法的实现细节、性能对比及优化策略,帮助在不同应用场景下做出最优选择。

weixin_30855761的博客 564

傻瓜教程:使用GeoServer发布离线地图服务

一、离线地图下载 离线地图分为两种:一种叫“金字塔瓦片”数据,一种叫“矢量地图数据”。我们看的在线地图比如,百度,谷歌,高德等等网页上的地图,都是金字塔瓦片;另外一种是手机上用来导航的,比如高德地图APP,也可以下载离线地图数据,这个就是矢量的。 卫星影像地图都是金字塔瓦片,无矢量数据。 因此,我们所说的离线地图下载通常都是指离线地图金字塔瓦片数据下载。 离线地图金字塔瓦片搭建的离线地图服务分很多种:一般有WEB方式,TMS、WMTS/WMS等等,不同的应用有不同...

米兰的小码农的博客 1万+

数据流水线的监控与报警

1.背景介绍 数据流水线(Data Pipeline)是一种用于处理大规模数据的技术架构,它通过将数据处理任务拆分成多个小任务,并并行执行这些任务来提高处理速度和效率。数据流水线在现实生活中广泛应用于各种领域,例如大数据分析、机器学习、实时数据处理等。 随着数据流水线的广泛应用,监控和报警变得越来越重要。监控和报警可以帮助我们及时发现数据流水线中的问题,并采取相应的措施进行修复,从而确保数据流...

AI天才研究院 1220

Mathtype公式下标深度调整技巧:解决固定行距下的显示不全问题

本文针对在Word等文档中设置固定行距时,Mathtype公式下标显示不全的问题,提供了专业解决方案。核心在于调整Mathtype软件内部的“下标深度”参数,通过修改单个公式或批量格式化全文,使公式完美适配固定行距,确保下标清晰完整,且不影响文档整体排版。

pepsi的博客 1504

流水线数据处理:实现高效的数据分析

1.背景介绍 数据处理是现代数据科学和人工智能的基石。随着数据规模的不断增长,传统的数据处理方法已经无法满足需求。因此,流水线数据处理技术诞生,为高效的数据分析提供了新的方法。 流水线数据处理是一种高效、可扩展的数据处理方法,它将数据处理任务拆分成多个小任务,并将这些小任务串行或并行执行,以实现高效的数据处理。这种方法在大数据领域得到了广泛应用,包括数据清洗、数据转换、数据聚合、数据分析等。 ...

AI天才研究院 1590

2025机械考研复试面试问题汇总篇(含13门科目),考研机械复试专业面试常见重点问题总结!考研机械复试专业面试准备看这一篇就够了!

(完整版内容:)1.汇集了本科各科的重点知识及多个机械名校800多个常见问题,共8.7万字185页,涵盖机械所以专业课的重点知识和常见问答。 2.涉及机械大类重点科目,包括:材料力学、控制工程、数控技术、机械制造技术基础、理论力学、液压传动、机械设计、机械原理、工程材料、互换性与技术测量、测试技术、汽车理论、程序设计与C语言等13门必修课。

weixin_56510835的博客 1863

【EPS精品教程】EPS2016三维测图版安装教程(附EPS2016安装包下载地址)

EPS地理信息工作站是北京清华山维新技术开发有限公司历经十五年精心研发和打造,为满足“以地理信息服务为中心”的信息化测绘生产需求而推出的测绘生产活动多种业务模块集成化软件系统。主要功能有:(1)测绘与地理信息多业务模块集成管理;(2)多元多尺度多种类数据集成管理;(3)跨平台异构数据转换;(4)数据监理;(5)自动缩编与综合;(6)坐标转换与动态投影;(7)地理信息模板定制;(8)GIS地理信息描述与CAD图形表达一体化支持;(9)GIS数据库更新维护;(10)图形打印与地图出版。 一、安装过程 EP..

智慧空间实验室 2万+

【运维知识高级篇】超详细的Jenkins教程5(pipeline流水线配置+分布式构建)

Pipeline就是运行在Jenkins上的工作流,把单个节点的任务连接起来,实现单个任务难以完成的复杂发布流程。它的实现方式是Groovy的脚本,它支持从代码段中读取脚本,实现了Pipeline与代码的融合。Pipeline是用户定义的部署的流程,包含构建,测试,发布等步骤,有一些代码块需要我们去关注,比如Node,是一个机器,是Jenkins环境的一部分,可以执行Pipeline;

吾日三省吾身,想出类拔萃,要把知识学牢,学全,学深,学广。 3269

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

《SRE Google 运维解密》笔记

文章目录1. 主旨2. 概览2.1 提出 SRE 的动力?2.2 SRE 聚焦问题点2.3 庖丁解牛2.3.1 你看到了什么?2.3.2 如何管理你看到的?2.3.3 能否站在全局视角上看问题?3. 指导思想3.1 学会拥抱风险3.1.1 如何度量服务的风险?3.1.2 判断服务风险的容忍度?3.1.2 设计合适的「错误预算」3.2 服务质量目标3.2.1 指标在实践中的应用3.2.2 目标在实...

phantom_111的博客 2526

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

《SRE:Google 运维解密》读书笔记38: 完结篇补充1 - 如何在实际工作中落地这些SRE理念

目的:用数据替代“感觉”,建立共同目标。怎么做选择一个核心用户场景(如“用户登录”或“API 查询”);定义SLI(服务质量指标),例如:成功率 = 成功请求数 / 总请求数延迟 P95 < 500ms设定SLO(建议从宽松开始):“过去 28 天,登录成功率 ≥ 99%”计算错误预算允许失败比例 = 1% → 每月约 7 小时可“不可用”工具建议使用 Prometheus + Grafana 监控 SLI;用简单脚本计算是否违反 SLO。SLO 不是 SLA(对外承诺)

2734

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

《SRE:Google 运维解密》读书笔记34: 从其他行业吸取的经验教训 - 跳出软件工程看可靠性

事后总结文化是SRE四大核心主题中的第二项。本章比较了不同行业如何从失败中学习。跨行业比较揭示了一个普世真理:高可靠性不是某个行业的专利,而是系统化准备、从失败中学习、自动化与结构化决策四大支柱共同支撑的结果——SRE不是孤立的学科,而是人类追求可靠性的共同智慧在软件领域的体现。关键点一句话概括四大核心主题备灾测试 + 事后总结 + 自动化 + 结构化决策——跨行业比较的简化框架备灾测试的共性航空模拟器、核海军演习、软件DiRT——都在“可控环境中暴露系统弱点”事后总结的共性。

2403

SRE Google运维解密pdf

下载地址:网盘下载自动化对Google SRE 的价值 62自动化的应用案例 63Google SRE 的自动化使用案例 63自动化分类的层次结构 64让自己脱离工作:自动化所有的东西 66舒缓疼痛:将自动化应用到集群上线中 67使用Prodtest 检测不一致情况 68幂等地解决不一致情况 69专业化倾向 71以服务为导向的集群上线流程 72Borg :...

weixin_30945039的博客 2018

Google SRE 读书笔记 扒一扒SRE用的那些工具

写在前面 最近花了一点时间阅读了《SRE Goolge运维解密》这本书,对于书的内容大家可以看看豆瓣上的介绍。总体而言,这本书是首次比较系统的披露Google内部SRE运作的一些指导思想、实践以及相关的问题,对于我们运维乃至开发人员都有一定的借鉴意义。 书中的一些思想也令我印象深刻,例如SRE工程师要保证投入50%的时间在项目上、错误预算、命运之轮、事故总结等等,对于从业者有很大的启发。...

aifeier1982的博客 1267

《SRE:Google 运维解密》读书笔记37: SRE理念落地实践指南 - 从理论到行动

不要等到下一次事故。找最近发生的一次事故(哪怕很小),按照无指责原则写一份事后总结。事后总结模板//markdown# 事后总结:[事故简述]## 摘要- 发生时间:YYYY-MM-DD HH:MM- 影响范围:[受影响用户/服务/数据量]- 恢复时间:[从发生到完全恢复的时长]## 时间线- HH:MM - [事件描述]- HH:MM - [事件描述]## 根本原因[不是“谁犯了错”,而是“系统为什么允许这种情况发生”]## 行动项目| 行动项 | 负责人 | 截止日期 |

2934

《SRE:Google 运维解密》读书笔记09: 发布工程 - 实现安全可靠的持续交付

发布工程 = 用自服务模型让团队自主发布、用密闭性保证构建可重复、用持续自动化覆盖构建测试部署全流程,最终让发布像“开关按钮”一样简单可靠。关键点一句话概括四大哲学自服务模型 + 追求速度 + 密闭性构建 + 强调策略与流程分支策略主分支接收所有提交,发布分支从主分支拉取且永不合并,Bug修复通过 Cherry picking 选择性同步核心工具链Blaze(构建)+ Rapid(发布系统)+ MPM(打包)+ Sisyphus(部署)密闭性的价值。

1839

《SRE:Google 运维解密》读书笔记26: 数据处理管道 - 当数据处理变成“输油管道”

数据处理管道 = 多阶段数据转换的有序链条——周期性模型虽实用但脆弱,领导者-追随者模型是更可靠的替代方案;管道的可靠性依赖于幂等性、检查点和批量写入的三层机制,而整条链的效率由最慢的分块决定。关键点一句话概括管道的本质读入→转换→输出,由Cron周期性调度管道深度串联程序的数量,浅则1、深可达数百脆弱性根源有机增长破坏初始调校的参数平衡桶效应整条管道由最慢的分块决定完成时间领导者-追随者模型调度逻辑与处理逻辑分离,替代周期性管道的可靠方案不连续性挑战。

1799

读书笔记(SRE:Google运维解密):第4章 服务质量目标

服务质量指标(SLI)、服务质量目标(SLO)、服务质量协议(SLA) 这三项分别是指该服务最重要的一些基础指标、这些指标的预期值,以及当指标不符合预期时的应对计划   大部分服务都将请求延迟—处理请求所消耗的时间——作为一个关键SLI (a)其他常见的SLI包括错误率(请求处理失败的百分比)、系统吞吐量(每秒请求数量)等 (b)可用性(availability)是另外一个SRE重视的SLI,代表服务可用时间的百分比 (c)运维行业经常用9的数量来描述可用程度。例如,99%可用性被称为“2个9”.

lo_ong的博客 642

读书笔记(SRE:Google运维解密):第12章 有效的故障排查手段

新手们常常不能有效地进行故障排查,是因为这个过程理想情况下同时需要两个条件。 (a)对通用的故障排查过程的理解(不依靠任何特定系统)。 (b)对发生故障的系统的足够了解。 通用的故障排查流程 从理论上讲,我们将故障排查过程定义为反复采用假设-排除手段的过程:针对某系统的一些观察结果和对该系统运行机制的理论认知,我们不断提出一个造成系统问题的假设,进而针对这些假设进行测试和排除。 造成低效的故障排查过程的原因通常集中在定位(triage)、检查和诊断环节上,主要由于对系统不够了解而导致。  .

lo_ong的博客 602

SRE用的那些工具

写在前面 最近花了一点时间阅读了《SRE Goolge运维解密》这本书,对于书的内容大家可以看看豆瓣上的介绍。总体而言,这本书是首次比较系统的披露Google内部SRE运作的一些指导思想、实践以及相关的问题,对于我们运维乃至开发人员都有一定的借鉴意义。 书中的一些思想也令我印象深刻,例如SRE工程师要保证投入50%的时间在项目上、错误预算、命运之轮、事故总结等等,对于从业者有很大的启发。书中提...

niuniu0186的专栏 1586

SRE Google 运维解密 具体实践二

十四、管理关键状态:利用分布式共识来提高可靠性 跨物理区域分布式运行系统可以解决很多的系统灾备问题,以保障在灾难来临时系统仍然能正常运行。但是却带来维护系统一致状态视图的需求,而这个问题的解决常常是复杂且难以实现的。 一组服务进程可能想要可靠地对以下问题产生共识: 哪个进程目前是该组织进行的leader?本组中都包含哪些进程?是否已经将某个消息成功地插入了某个分布式队列?某个进程目前是否

watermelonbig的专栏 3362

SRE系列教程 | 孙宇聪:来自Google的DevOps理念及实践(上)

SRE(Site Reliability Engineering)是最早由Google提出,又经由Google发展完善的一个崭新运维理念。如今SRE已成为一个涵盖运维理念、思路、组织架构和具体实践的完整体系。数人云推出SRE系列教程,由SRE经验丰富的技术大牛们为大家分享运维一线的独家干货,揭示SRE背后的秘密。 今天为系列教程第一期,...

weixin_33711641的博客 1033
上一篇: 读书笔记(SRE:Google运维解密):第24章 分布式周期性任务系统
下一篇: 读书笔记(SRE:Google运维解密):第26章 数据完整性:读写一致
github_37320188
博客等级 码龄10年 24粉丝 86原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值