监控和可观察性在 DevOps 中的作用!

云原生可观察性的基本理念和方法论:可观察性(Observability)是指系统内部的运行过程可以被检测、分析、记录和展示出来,从而对系统行为、资源利用、健康状况、安全情况等进行监控和管理 可观察性(Observability)是指系统内部的运行过程可以被检测、分析、记录和展示出来,从而对系统行为、资源利用、健康状况、安全情况等进行监控和管理。可观察性是云原生时代的一个重大发展方向,也是机器学习、微服务、容器技术、DevOps、Serverless等技术框架的基石。可观察性建设在整个云原生架构下,由底层基础设施(例如,网络、存储、计算资源)、中间件、应用系统共同构建,具有高度的透明性、灵活性、弹性、可扩展性。 阅读详情

在不断发展的DevOps世界中,深入了解系统行为、诊断问题和提高整体性能的能力是首要任务之一。监控和可观察性是促进这一过程的两个关键概念,为系统的健康状况和性能提供有价值的可见性。虽然这些术语经常互换使用,但它们代表了理解和管理复杂系统的不同方法。在本文中,我们将探讨监控和可观察性之间的差异,提供示例来说明它们的应用并强调它们各自的好处。我们还将深入研究用于有效监控和可观察性的技术和工具。

 「监控:了解系统状态」

监控的重点是收集和分析有关系统或应用程序状态的数据。它通常涉及设置特定的指标、阈值和警报机制来跟踪各种组件的性能和可用性。常见的监控技术和工具包括:

  • 指标监控:使用 Nagios、Zabbix、Prometheus 和 Datadog 等工具监控预定义指标,例如 CPU 使用率、内存消耗、磁盘空间、网络流量和特定于应用程序的指标。
  • 日志监控:使用 ELK Stack(Elasticsearch、Logstash 和 Kibana)、Splunk 或 Graylog 等工具解析和分析系统不同组件生成的日志,以识别错误、安全漏洞或异常行为。
  • 综合监控: 使用 Selenium、Pingdom 或 New Relic Synthetics 等工具模拟用户交互并监控系统的响应,以确保可用性和性能。

「可观察性:了解系统行为」

可观察性采用更全面的方法,旨在通过分析互连组件及其关系来理解和解释复杂系统的行为。它强调回答问题和调查超出预定义指标的系统行为的能力。用于可观察性的技术和工具包括:

  • 分布式跟踪:使用 Jaeger、Zipkin 或 AWS X-Ray 等工具捕获和分析通过分布式系统的请求流。它可以识别瓶颈、延迟问题和依赖性。
  • 应用程序日志记录:使用 Fluentd、Logback 或 Log4j 等工具收集包含上下文信息的结构化日志,以跟踪执行路径、解决问题并全面了解系统行为。
  • 实时分析:利用 Apache Kafka 或 Apache Flink 等流数据平台以及 Grafana 或 Kibana 等可视化工具来处理和分析大量实时数据流,以获得系统性能洞察。

「监控和可观察性用例」

以下是一些常见用例,其中监控和可观察性在 DevOps 中发挥着重要作用:

「应用程序性能监控 (APM)」

监控:跟踪响应时间、错误率和资源利用率等指标,以确保最佳性能。例如,设置 CPU 使用率高或响应时间慢的警报。

可观察性:分析分布式跟踪和日志以识别性能瓶颈、了解依赖性并解决问题。例如,使用分布式跟踪来查明微服务之间的延迟问题。

「基础设施监控」

监控:跟踪服务器指标(CPU、内存、磁盘空间)和网络指标(带宽、延迟)以确保基础设施运行状况。例如,监视磁盘空间以避免由于磁盘已满而导致的潜在中断。

可观察性:分析日志和事件以识别异常行为或安全威胁。例如,使用日志分析来检测系统日志中未经授权的访问尝试或异常模式。

「云资源监控」

监控:跟踪云服务(例如AWS CloudWatch、Azure Monitor)的资源利用率和性能指标,以优化成本并确保服务可用性。例如,监控自动伸缩组中已配置实例的数量。

可观察性:分析云提供商日志、跟踪和指标,以深入了解云资源的行为并诊断问题。例如,使用可观察性工具来识别无服务器架构中的性能瓶颈。

「持续集成/持续部署 (CI/CD) 管道」

监控:跟踪构建和部署指标(例如构建持续时间、成功/失败率),以确保CI/CD 管道的效率和可靠性。例如,监控构建队列长度以防止出现瓶颈。

可观察性:分析来自 CI/CD 工具(例如 Jenkins、CircleCI)的日志和事件,以排除失败的构建或部署问题。例如,使用可观察性来调查部署失败的原因。

「网络监控」

监控:跟踪网络流量、延迟和数据包丢失,以确保网络性能并识别潜在问题。例如,监控网络带宽利用率以防止拥塞。

可观察性:分析网络日志、数据包捕获和流数据以诊断网络问题、检测安全漏洞或识别异常行为。例如,使用可观测性工具来调查突然增加的网络错误。

这些只是如何在各种 DevOps 用例中应用监控和可观察性的几个示例。具体用例和要求可能会有所不同,具体取决于系统、基础设施和组织需求的性质。

「要点」

监控通过捕获预定义指标并根据阈值发出警报来提供系统运行状况和性能的快照。它对于检测特定问题或事件并提供有关系统或应用程序状态的即时反馈非常有用。

可观察性提供了对复杂系统的更全面的了解,从而能够主动进行故障排除和根本原因分析。它专注于捕获上下文信息并发现超出预定义指标的见解,从而培养持续改进的文化。

实现可观察性通常需要额外的仪器和架构考虑,这可能会增加复杂性和资源需求。然而,深入系统理解的好处以及解决未知或意外问题的能力使其成为一项值得的投资。

「概括」

监控和可观察性都是现代 DevOps 实践的重要组成部分,但它们涉及系统可见性的不同方面。监控提供了系统运行状况的集中、即时的视图,跟踪预定义的指标和阈值,而可观察性提供了对系统行为的整体理解,捕获上下文信息并实现深入分析。

通过结合监控和可观察性技术并利用适当的工具,组织可以全面了解系统性能、及早发现问题并持续优化其系统。通过可观察性在监控预定义指标和探索不可预见的场景之间取得平衡,使团队能够在 DevOps 的动态世界中有效管理和提高其软件系统的可靠性、性能和弹性。

 

OpenHarmony-AI调研 基于OpenHarmony-5.0.0版本以及laval社区等网络资料调研当前OH上的AI发展情况。 阅读详情

相关推荐

【论文复现】HiDDeN:Hiding Data With Deep Networks

(标签)是 float 类型,但代码中传入的是 long 类型(整数标签)。函数参数解析方式变化,导致无法正确保存生成的图像结果。这是因为新版torchvision的。使用预训练模型进行隐写和提取测试。HiDDeN支持多种噪声层组合。打印变量的类型,分别是。

qq_69146676的博客 972

DevOps:监视容器的重要性

AppDynamics使用Docker监视解决方案提供对由部署在Docker环境中的多个较小的解耦(微)服务中的应用程序和业务交易的可见性。 AppDynamics Docker Monitoring Extension监视并报告各种指标,例如:容器总数,正在运行的容器,图像,CPU使用率,内存使用率,网络流量等。 AppDynamics Docker监控扩展使用Unix Socket或...

danpob13624的博客 355

intel-VROC raid卡驱动 centos7.9

u盘进入系统,按e,在出现下面在quiet前面输入inst.dd initcall_blacklist=vmd_drv_init 后按Ctrl和x,开始引导。进入系统,按e,在出现下面在quiet前面输入inst.dd inicll_blacklist=vmd_drv_init 后按Ctrl和x,开始引导。驱动完成后,在输入 c 回车, 引导过程开始,进入安装界面。输入1 ,选择这个ISO驱动文件里的rpm包。输入1 ,选择这个ISO驱动文件里的rpm包。vi编辑 /etc/default/grub。

dacming的博客 4545

提升系统管理:监控和可观察性在DevOps中的作用

监控通过捕获预定义的指标和基于阈值的警报来提供系统运行状况和性能的快照。它可用于检测特定问题或事件,并提供有关系统或应用程序状态的即时反馈。可观察性提供了对复杂系统更全面的了解,支持主动故障排除和根本原因分析。它侧重于获取上下文信息,揭示预定义指标之外的见解,培养持续改进的文化。实现可观察性通常需要额外的工具和架构考虑,这可能会增加复杂性和资源需求。然而,深度系统理解的好处以及解决未知或未预料到的问题的能力使其值得投资。

Aaron_Zentao的博客 1103

RV1106G3的AOV下的yolov5调试记录

本文介绍了基于LuckFoxPicoMax开发板的RV1106芯片调试经验,重点包括AOV(Always-On Vision)和Yolov5目标检测的实现。在硬件方面,板载1TOPS NPU、256MB内存,并更换为SPI NOR存储。软件调试涉及MK配置文件修改、设备树调整(按键唤醒和sensor配置)以及程序自启动设置。Yolov5模型优化为320*320尺寸,推理时间约45ms。系统采用VI采图与AI识别通过共享内存通信的方案,实测功耗在20-35mA范围。文章还指出了当前存在的功耗优化、ISP调试等

fzktongyong的博客 1715

别再折腾虚拟机了!手把手教你用WSL2在Windows 11上安装Kali Linux(含汉化与图形界面)

本文详细介绍了如何在Windows 11上通过WSL2安装和配置Kali Linux,包括汉化与图形界面设置。通过WSL2,用户可以享受接近原生性能的Linux体验,同时保持与Windows系统的无缝集成,特别适合网络安全爱好者和开发者。文章还提供了常见问题解决和性能优化建议,帮助用户高效使用Kali工具集。

weixin_42525369的博客 323

AI 如何应对 DevOps 监控和可观察性挑战

AI可以分析历史数据以检测持续集成阶段的异常。任何不寻常的变化都可以在进入下一阶段之前进行标记以供审查。IBM Watson AnomalyDetection 等工具可以通过使用 AI 检测模式和异常情况来帮助识别这些异常情况。在开发阶段可以使用人工智能来分析代码以确保其质量,这有助于减少错误和漏洞。DeepCode 和 Codota 等工具使用 AI 来识别潜在问题,并根据学习的代码和解决方案数据库提出改进建议。人工智能可以帮助优化持续集成(CI)中测试用例的选择。

EasyOps_DevOps的博客 881

ROS下UR+Realsense相机进行手眼标定

手眼标定主要是用来确定相机坐标系和机械臂坐标系之间的转换关系,从而实现后续的抓取等任务。

weixin_42157689的博客 7573

Elastic:监控不同于可观察性的 3 个原因

监控是收集、提取和分析应用程序、基础设施和/或云遥测数据以评估系统运行状况的过程。监控依赖于指标,例如 CPU 或内存使用率和网络流量、日志和跟踪。这些数据使 IT 团队能够实时跟踪其基础设施和应用程序的性能和可用性。监控工具和平台可以提供仪表板和警报,并具有报告功能,以帮助 IT 团队监控组件、识别预测问题并解决给定环境中出现的问题。但是,监控工具传统上是孤立的,因此并不总是适合现代云架构和更大的环境。可观察性是一套实践和工具,使 IT 用户能够通过其生成的遥测和运营数据获得整个环境的整体视图。

Elastic 中国社区官方博客 1378

【人工智能】《Deep Dive into LLMs like ChatGPT 》—— Andrej Karpathy 第三阶段:强化学习(Reinforcement Learning, RL)

摘要:强化学习(RL)阶段通过让模型自主生成并验证答案,突破SFT阶段的模仿局限,使其在数学、代码等领域形成独特的推理路径。RL流程包括批量生成解答、自动批改筛选正确路径,并采用PPO/GRPO算法优化模型。模型会自发涌现自我检查、回滚等策略,显著提升正确率(如AIME竞赛准确率从15%升至56%)。与SFT模型相比,RL模型具备主动链式思维、验算能力,响应时间更长但效果更优,形成真正的“思考模型”。三阶段对比显示,RL通过可验证题的对错奖励机制,赋予模型超越人类范式的推理能力。

奶爸的编程之路,也就一周冷个三天 150

【WRFDA实操第一期】服务器中安装 WRFPLUS 和 WRFDA

【WRFDA实操第一期】安装 WRFPLUS 和 WRFDA

WW、forever的博客 2038

可观察性的三大支柱:统一日志、指标和跟踪

了解遥测信号,以便做出更好的决策、提高性能并增强客户体验。多年来,遥测信号已经发生了重大变化 —— 如果你眨眼,你可能会错过它。事实上,关于可观察性的许多常识都需要更新。如果你的可观察性解决方案没有考虑遥测的当前状态,你可能需要升级。随着技术进步、更复杂的系统和新的监控方法的出现,软件系统中的监控和可观察性已经经历了几个阶段的转变。与往常一样,数据是故事的核心。遥测的发展紧跟计算的发展。随着对数据的需求从机械性能指标扩展到业务绩效指标(或多个指标),遥测信号也在不断变化。计算已经发展到分布式云环境,

Elastic 中国社区官方博客 1860

ESP32 WIFI 智能巡线小车设计与实现(四足 / 四轮通用)

本文设计的 ESP32 WIFI 智能巡线小车,硬件模块化、软件轻量化,兼容四足与四轮两种结构,实现了自动巡线与 WIFI 远程控制双功能。系统成本低、易上手,适合嵌入式初学者学习 WIFI 通信、传感器应用、运动控制等核心知识点,也可在此基础上扩展蓝牙控制、避障、视觉识别等功能。

weixin_42300449的博客 152

提高CI/CD可观察性的4 个最佳实践

目录 1. 生产环境的可观察性 警报 被动监控 2. 优化日志记录 3.DevOps文化 4. 部署前的可观察性 远程调试 总结 可观察性是DevOps团队的重要组成部分,它可以帮助组织从系统的输出信息,推断系统内部状态。它是一个持续的过程,从你的CI/CD流水线开始,并贯穿于应用程序的整个生命周期。 可观察的CI/CD流水线,使你能够主动监视问题并跟踪CI/CD构建期间发生的错误。如果没有对流水线的可见性,在系统出现异常时,很难追溯到其根本原因。 在这篇文章中,我们将讨论提高系统..

琦彦 709

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【可观察性架构】什么是可观察性? 不仅仅是日志、指标和跟踪

随着动态系统架构的复杂性和规模的增加,IT 团队面临着越来越大的压力来跟踪和响应其多云环境中的条件和问题。因此,IT 运营、DevOps 和 SRE 团队都在寻找对这些日益多样化和复杂的计算环境的更高可观察性。但什么是可观察性?为什么它很重要,它实际上可以帮助组织实现什么?什么是可观察性?在 IT 和云计算中,可观察性是根据系统生成的数据(例如日志、指标和跟踪)来衡量系统当前状态的能力。可观察性依...

全网:架构师研究会 688

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

什么是DevOps监控以及如何在组织中实施?

如今的软件开发商经常面临两大挑战——快速交付和大规模创新。DevOps通过在软件开发生命周期(SDLC)中引入自动化来开发和交付高质量的软件,从而帮助解决这些挑战。

xuxian的博客 1637

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

蚂蚁金服在云原生架构下的可观察性的探索和实践

本文根据 8 月 11 日 SOFA Meetup#3 广州站 《蚂蚁金服在云原生架构下的可观察性的探索和实践》主题分享整理。现场回顾视频以及 PPT 查看地址见文末链接。 前言 随着应用架构往云原生的方向发展,传统监控技术已经不能满足云原生时代运维的需求,因此,可观察性的理念被引入了 IT 领域。 下面我将会就可观察性在云原生的起源,可观察性发展动力,可观察性与监控的关系,可观察性的三...

阿里云云栖号 1314

可观察性驱动开发,探索未知之地

可观察性驱动开发与监控有什么不同?随着我们的分布式系统变得越来越复杂,随着我们对DevOps测试、自动化和效率的追求,筒仓的打破,为了了解代码中未知的未知,ODD作为一种超级监控而出现。本文包括Honeycomb创始人Charity Majors的见解。本文要点随着微服务和容器使系统变得更加分散和复杂,未知的未知也在增加。只在发布后进行监控是不够的,你只有在完全了解系统的潜在故障时才能获得成功。可...

weixin_33758863的博客 121

Observability:了解可观察性的启蒙书

你会在 IT、开发人员和 SRE 角色中发现的一个确定性是,事情总是在变化! DevOps 社区中的一个热门话题是可观察性。 长话短说,你可能想知道它的真正含义以及如何将其添加到你的技能中。 这是一个快速入门,可帮助你走上可观察性之路。 “可观察性”一词从何而来? 可观察性的概念可以追溯到 20 世纪中叶,它最初用于控制理论中,用于描述如何从系统外部输出的知识中推断出系统的内部状态。 匈牙利裔美国电气工程师和数学家 Rudolf E. Kalman

Elastic 中国社区官方博客 1113

为什么要从应用程序监控升级到可观察性?

云原生的成功是一个微妙的平衡。你必须不断利用新的令人兴奋的技术,同时保持运维的稳定性和可靠性。这并不容易。在基于容器的基础设施上采用微服务架构意味着你可以快速迭代更改并快速调整,以满足客户快速发展的需求。但每次引入新工具、进行流程调整或更改应用程序或基础设施组件时,都有可能在环境中造成问题。什么坏了?哪里出问题了?云原生中经常有太多的复杂性和变量,无法快速分类。此外,DevOps和系统可靠性工程(...

开源云中文社区 184

devops 开源工具链_DevOps监控工具的开源指南

devops 开源工具链 在这个新系列中,我们将重点介绍DevOps监视和可观察性工具。 在接下来的几周中,我们将探讨指标聚合和监视,日志聚合,警报和可视化以及分布式跟踪。 或者,您现在可以将整个开源指南下载到DevOps监视工具 。 让我们开始吧。 两种观点的故事 曾几何时,我正在对应用程序中一些棘手的问题进行故障排除,这些问题需要扩展几个数量级,而仅需几个星期即可对其进行重新架构...

cumo3681的博客 481

16大DevOps工具:SRE人员的绝佳选择

16大DevOps工具:SRE人员的绝佳选择

虽非技冠群英首,愿与同道共长歌; 大鹏一日同风起,扶摇直上九万里; 1570

不解决好这 3 大矛盾,就别搞 DevOps 了

要想把Dev(开发人员)和 Ops(运营)绑定在一起,还要求他们和谐相处、彼此融合,像不像某种“包办婚姻”?因此,DevOps 注定是一个棘手的问题,如果不能调和好,很难有什么“从此幸福快乐”的结局。 在过去十年中,尽管 DevOps 得到了很大的普及和推广,但是始终有人会怀疑它的价值和有效性,有人认为,如果你去看看 IBM 在 25 年前倡导的软件开发实践,就会发现DevOps 早就已经存在,只是没有正式的标签而已。 关于 DevOps 的争论越焦灼,我们越需要解决一些有关于 DevOps 的问题,好

CalEx_Tech的博客 666

【翻译】如何将可观察性添加到你的应用管道中

作者:伊万-普莱斯-埃文斯 11月23日, 2021年 Iwan Price-Evans最初在Snapt的博客上发表的客座文章 在这个数据驱动的世界里,我们为我们的软件和硬件中的几乎所有东西捕获数据。用户数据、用户行为、事件、数据流,以及我们的服务器、虚拟机(VM)和容器的内部运作都被记录下来。应用程序向DevOps和IT团队暴露了越来越多的数据,以帮助他们做出良好的决策。然而,如果用...

超级码力 140
上一篇: 5-7月大更新!EasyOps®全平台34+新特性齐上线~
下一篇: 优维产品最佳实践第2期:一个“好”的告警通知是怎样的?
优维科技EasyOps
博客等级 码龄5年 1483粉丝 395原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值