统一的可观察性:指标、日志和跟踪

微服务可观测平台设计-总体设计 背景 服务可观测性,预测与发现系统性能瓶颈,透视系统状态,为系统调优和查故障提供可靠数据支撑 参考和关键词 参考资料: https://www.cnblogs.com/erda/p/15204516.html Metrics Metrics 计算 Events 发生数量的数据集,这些数据通常具有原子性,且可以聚合。从操作系统到应用程序,任何事物都会产生 Metrics 数据,这些数据可以用来度量操作系统或应用程序是否健康,或者是用以计算一段时间内请求的平均延时。 Logging 记录离散 Events,L. 阅读详情

作者/ Paul Parkinson

来源/翻译外网

01

数据驱动的微服务和可观察性 

一般来说,现代应用程序开发和微服务架构的性质使可观察性(指标、日志和跟踪)成为 DevOps 的绝对关键要求。此外,可观察性工具越高效,用户和应用程序就越有效。目前,有许多不同的工具用于监控、跟踪和日志记录,使得跨工具的关联变得困难。此外,应用程序和数据库的可观察性目前是完全不同和独立的,本地和基于云的工具也是如此。

CNCF 提供了许多开放标准,例如 OpenTelemetry,也有相应的开放技术,例如 Prometheus、Jaeger 和 Grafana。这些标准和技术可以一起使用,以提供跨指标、日志和跟踪以及跨应用程序和数据库层的统一可观察性。

*注意,我不是在任何严格的拓扑含义中指代“层”,而是为了解释应用程序和数据库这两个方面的分离。话虽如此,在这篇博客的上下文中,我确实指的是基于 Kubernetes 的应用程序层。

下图是统一的可观测性架构图:

*请注意,不排除使用 ELK(Elasticsearch、Logstash 和 Kibana)或 EFK(Elasticsearch、Fluentd 和 Kibana)堆栈,也不排除任何 Oracle 数据库产品,例如 Enterprise Manager、Trace File Analyzer、Application Performance Monitor等。每个都有其优点、缺点和用例。此处介绍的 PLG(Promtail、Loki、Grafana)是由 Grafana 推广的解决方案,该解决方案越来越受欢迎,因为它非常适合拥有系统的单一窗格视图的能力。

02

配置和代码示例尝试 

统一可观测性数据库研讨会目前包含以下实验室。

设置和部署应用程序 

  • 使用了Simplifying Data-driven Microservices Workshop中的“GrabDish”应用程序。

使用数据库指标、日志导出器启用可观察性

  • 一个简单的脚本在这里设置了您需要的所有内容,您可以参考该脚本了解详细信息。 

  • 这将在下一版研讨会中通过使用可观察性控制器/操作员来取代和自动化。

配置警报通道

  • 简单展示了如何设置 Slack(或 Prometheus AlertManager 等)来接收警报。

可诊断性和调试用例

  • 系统故障显示在仪表板上并已修复的基本用例

  • 这将得到增强,以在下一个版本的研讨会中演示跨层的更复杂的调试场景。

性能监控用例

  • 负载测试导致性能下降触发警报的基本用例。

  • 这将得到增强,以便在下一个版本的研讨会中提供跨层的性能细节的更多细节。

更好地理解和修改指标、日志记录和跟踪

  • 有关如何在应用程序和数据库层中收集指标、日志记录和跟踪的基本详细信息,如何使用 OpenTracing Id 和 Oracle ECID 跨层进行跟踪等,包括源代码示例。

  • 更多细节和增强使用 OpenTelemetry 自动仪器等将包含在下一版本的研讨会中。

03

示例 Grafana 仪表板 

示例仪表板基本上显示了象限中的微服务信息:

  • 运行在 Kubernetes 上的微服务的运行时指标,例如 CPU

  • 在 Kubernetes 上运行的微服务的特定于应用程序的指标,例如“PlaceOrder 计数”

  • 微服务数据库的运行时指标,例如连接会话

  • 微服务数据库的特定于应用程序的指标,例如“处于待处理状态的订单”

04

要跟踪的日志和跟踪到日志的日志

指标、日志和跟踪可以在 Grafana 中并排查看。用户可以在特定指标上向下钻取到相应的日志。用户还可以在日志上向下钻取到相应的跟踪,反之亦然。请注意以下日志输出中的“Jaeger”链接。Kubernetes 微服务日志和 Oracle 数据库日志都提供了这些日志到跟踪的相关性。 

下面的跟踪对应于上面的日志(通过提到的“Jaeger”链接访问)和可视化图形分析。同样,这一切都发生在同一个 Grafana 控制台中

05

结论

我已经谈到了为现代应用程序开发和使用 Oracle 数据库的数据驱动微服务提供的统一可观察性解决方案的一些基础知识。我期待很快在这个系列中继续发布内容。我们正在该领域创建一些令人兴奋的新功能,以帮助开发人员和运营人员获得更简单、更有效、更愉快的可观察性体验。

别再忽视!提示工程架构师强调的AI提示系统架构可观测性设计 本文旨在为AI开发者和架构师提供关于提示系统可观测性设计的全面指南。我们将覆盖从基础概念到高级实现的所有层面,特别关注提示工程这一新兴领域。文章将从可观测性的基本概念开始,逐步深入到提示工程的特殊需求,然后通过实际案例展示实现方法,最后讨论未来趋势。提示工程(Prompt Engineering):设计和优化输入给AI模型的提示(指令)以提高输出质量的实践可观测性(Observability):通过外部输出推断系统内部状态的能力提示追踪(Prompt Tracing) 阅读详情

相关推荐

Vector 高性能日志收集工具

Vector 是一种高性能的可观察性数据管道,可让组织控制其可观察性数据。收集、转换并将所有日志、指标和跟踪路由到SRE团队想展示或者存储的任何地方。由于 Vector 用 Rust 编写,提供了内存安全和效率保证,使其在其他现有工具中独树一帜。Vector 引入了单元测试框架,可以更轻松地维护复杂的日志收集工具拓扑。属于一款新型开源产品,比所有替代方案快 10 倍(引用官方话语)。

Kason_iWiki 5124

可全链路观测的智能运维平台---功能画像

AI智能运维助手自然语句生成SQL/PromQT/图表,构建业务视角的全链路观测与拓扑展示基于大模型的智能洞察能力,动态识别异常告警,结合应用拓扑和资源依赖关系进行根因分析推导基于大模型的交互式AI助手,解读异常根因以及修复建议。

qq_32205577的博客 413

6、Istio 可观测性工具与架构解析

本文详细解析了 Istio 的可观测性工具和架构设计,包括 Kiali、Jaeger、Prometheus 和 Grafana 的功能与使用方法。同时深入介绍了 Istio 的控制平面与数据平面架构,以及 Envoy 作为数据平面核心组件的特性、配置实践和可扩展性,为构建现代化的微服务架构提供全面的技术参考。

pluto的博客 75

Kubernetes 可观测性架构设计

Kubernetes 可观测性通常由三大支柱构成:指标监控(Metrics)、日志收集(Logging)和分布式追踪(Tracing)。现代系统通常会结合 Prometheus、Loki 和 Jaeger 等工具实现全栈观测。

云原生运维的博客 631

服务网格中的日志、指标、追踪等组件的作用及用法

随着云计算、微服务架构和容器化技术的兴起,服务网格已经成为云原生应用的标配组件之一。本文将从可观察性角度出发,介绍服务网格中的日志、指标、追踪等组件的作用及用法。提供了应用程序之间的松耦合、透明、低延迟的通信机制通过控制平面管理微服务间流量、服务发现、熔断降级、路由转发等动作,实现了智能化的流量调度和管理为微服务提供了丰富的监控和告警功能,有效地帮助开发人员发现和定位问题为了更好地管理服务网格,提高运维效率,减少故障发生的概率,需要对服务网格进行可观察性的建设。

AI天才研究院 1313

Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model

启发式算法广泛用于处理复杂的搜索和优化问题。然而,启发式算法的手动设计通常非常耗费人力,需要丰富的工作经验和知识。本文提出了启发式算法的进化 (EoH),这是一种新颖的进化范式,它利用大型语言模型 (LLM) 和进化计算 (EC) 方法进行自动启发式设计 (AHD)。EoH 代表自然语言中的启发式概念,称为思想。然后由 LLM 将它们转换为可执行代码。进化搜索框架中思想和代码的演变使其在生成高性能启发式算法方面非常有效和高效。

weixin_43961909的博客 2164

可观察性的三大支柱:统一日志、指标和跟踪

了解遥测信号,以便做出更好的决策、提高性能并增强客户体验。多年来,遥测信号已经发生了重大变化 —— 如果你眨眼,你可能会错过它。事实上,关于可观察性的许多常识都需要更新。如果你的可观察性解决方案没有考虑遥测的当前状态,你可能需要升级。随着技术进步、更复杂的系统和新的监控方法的出现,软件系统中的监控和可观察性已经经历了几个阶段的转变。与往常一样,数据是故事的核心。遥测的发展紧跟计算的发展。随着对数据的需求从机械性能指标扩展到业务绩效指标(或多个指标),遥测信号也在不断变化。计算已经发展到分布式云环境,

Elastic 中国社区官方博客 1860

基于vivado实现FFT/IFFT

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、实现的功能二、配置1.调用DDS的IP核2.调用FFT的IP核三、结果分析1.调用DDS的IP核2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、实现的功能 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任

qq_45600102的博客 1万+

可观察性支柱:探索日志、指标和跟踪

虽然大多数监控工具都可以检测明显的问题,但最好的监控工具可以更进一步,提供检测和警报复杂问题的见解。日志、指标和跟踪是重要的可观察性支柱,它们共同提供分布式系统的完整视图。因此,有效的可观测性解决方案应该支持日志分析并促进日志数据的捕获及其与指标和跟踪数据的关联。服务网格在代理级别处理跟踪和统计数据收集,提供整个网格的无缝可观察性,而不需要其中的应用程序进行额外的检测。监控和可观察性之间的主要区别在于,后者是指 深入了解系统内部运作的能力,而前者是指收集有关系统性能和行为的数据的行为。

EasyOps_DevOps的博客 359

带有验证码的爆破(包含Burp suite工具爆破)

关于含有验证码爆破的一些总结!

weixin_43960066的博客 8697

安鸾渗透测试平台-CTF系列-bash

工具Xshell 公网VPS接收反弹shell Xshell新手的下载及安装教程(超详细)_新手程序员攀爬之路的博客-优快云博客_xshell使用教程 Xshell连接后 #!/bin/bash cat ${0} while : do echo "$" read input output=`$input` 显示了一个文件,不过咋做呢?这里可能考察的是linux的语法 方法 输入bash 获得shell cat ${0} while : do .

AAAAAAAAAAAA66的博客 2689

【可观察性】什么是可观察性? 不仅仅是日志、指标和跟踪

随着动态系统架构的复杂性和规模的增加,IT 团队面临着越来越大的压力来跟踪和响应其多云环境中的条件和问题。因此,IT 运营、DevOps 和 SRE 团队都在寻找对这些日益多样化和复杂的计算环境的更高可观察性。但什么是可观察性?为什么它很重要,它实际上可以帮助组织实现什么?什么是可观察性?在 IT 和云计算中,可观察性是根据系统生成的数据(例如日志、指标和跟踪)来衡量系统...

全网:架构师研究会 622

在Unity3d使用yolov8的onnx模型

输出OUTPUTS是float32[1,35,8400],表示它会输出一个大小为[1, 35, 8400]的浮点数张量。这个输出张量的维度表示了检测到的目标的数量、每个目标的预测参数以及网格单元的数量。输出张量的第一个维度1表示检测到的目标数量。每个目标由35个值组成,表示目标的类别、置信度、边界框的坐标及10个特定点的位置。要取得8400个数据中置信度最高的数据,然后获取该数据其他channel的数据。运行结果:(蓝色是检测手的边框,红点是自定义的点),其中的四个数字分别表示不同的维度。

shenqingyu0605202324的博客 5603

【可观察性架构】什么是可观察性? 不仅仅是日志、指标和跟踪

随着动态系统架构的复杂性和规模的增加,IT 团队面临着越来越大的压力来跟踪和响应其多云环境中的条件和问题。因此,IT 运营、DevOps 和 SRE 团队都在寻找对这些日益多样化和复杂的计算环境的更高可观察性。但什么是可观察性?为什么它很重要,它实际上可以帮助组织实现什么?什么是可观察性?在 IT 和云计算中,可观察性是根据系统生成的数据(例如日志、指标和跟踪)来衡量系统当前状态的能力。可观察性依...

全网:架构师研究会 688

《【一看就会】Autoware.universe的“规划”部分源码梳理》系列文章目录(持续更新中)

第零章:Planning综述 第一章:【一】全局路径生成模块——mission_planner 第二章:【二】路径行为规划模块——behavior_path_planner第一部分——behavior_path_planner模块 第三章:【二】路径行为规划模块——behavior_path_planner第二部分——behavior_path_planner_common模块(1) 第四章:【二】路径行为规划模块——behavior_path_planner第三部分——behavior_path_plan

weixin_48386130的博客 2340

飞书接入OpenClaw:从零到一的保姆级图文教程

本文主要介绍了飞书接入OpenClaw:从零到一的保姆级图文教程,希望能对学习使用OpenClaw 的同学们有所帮助。 文章目录 1. 背景 2. 解决方案 2.1 步骤一:安装插件 2.2 步骤二:创建机器人应用 2.3 步骤三:测试 3. 注意事项

weixin_43178406的博客 13万+

了解可观察性指标:类型、黄金信号和最佳实践

Elastic 可观察性通过基于搜索的相关性、防止停机、无妥协的数据保留、提高操作效率和降低成本,以及面向未来的投资,帮助加速问题解决。借助一个开放的、优先支持 OTel 的解决方案,你可以在最广泛的数据源中获得快速、上下文相关和统一的洞察,并与不断发展的技术生态系统无缝集成。核心指标使有效的可观察性成为可能,并最终实现数据驱动的决策,从而带来更好的业务成果。可观察性指标提供了对应用程序、系统和基础设施的性能、行为和健康状态的洞察 —— 使可观察性实践成为可能,这就是通过检查数据来了解系统内部状态的方式。

Elastic 中国社区官方博客 1308

《网络安全自学教程》- OSI七层模型分层及作用,数据封装与解封过程,数据传输过程。

OSI分哪七层,每层的作用是什么,解释数据在七层模型中是怎样传输的,封包和解封过程,数据包在每一层是怎么封装和解封的。

wangyuxiang946的博客 1万+

Amazon EKS工作负载的可观察性策略

Amazon EKS工作负载的可观察性策略

2401_89014665的博客 682

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

监控和可观察性在 DevOps 中的作用!

监控和可观察性是促进这一过程的两个关键概念,为系统的健康状况和性能提供有价值的可见性。在本文中,我们将探讨监控和可观察性之间的差异,提供示例来说明它们的应用并强调它们各自的好处。通过可观察性在监控预定义指标和探索不可预见的场景之间取得平衡,使团队能够在 DevOps 的动态世界中有效管理和提高其软件系统的可靠性、性能和弹性。监控提供了系统运行状况的集中、即时的视图,跟踪预定义的指标和阈值,而可观察性提供了对系统行为的整体理解,捕获上下文信息并实现深入分析。例如,使用可观察性来调查部署失败的原因。

EasyOps_DevOps的博客 1484

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

使用 Elastic 进行 Amazon MQ 可观察性:通过实时洞察解密消息流

由 Amazon MQ 管理的 RabbitMQ 在分布式架构中启用异步通信,但带来了操作风险,例如重试、处理延迟和队列积压。Elastic 的 Amazon MQ 集成对于 RabbitMQ 提供了对代理健康、队列性能、消息流和资源使用的深度可观察性,通过 Amazon CloudWatch 指标和日志进行监控。本文概述了与 RabbitMQ 相关的主要操作风险,并解释了 Elastic 可观察性如何帮助保持系统可靠性并优化大规模消息传递。

Elastic 中国社区官方博客 1434

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Observability:了解可观察性的启蒙书

你会在 IT、开发人员和 SRE 角色中发现的一个确定性是,事情总是在变化! DevOps 社区中的一个热门话题是可观察性。 长话短说,你可能想知道它的真正含义以及如何将其添加到你的技能中。 这是一个快速入门,可帮助你走上可观察性之路。 “可观察性”一词从何而来? 可观察性的概念可以追溯到 20 世纪中叶,它最初用于控制理论中,用于描述如何从系统外部输出的知识中推断出系统的内部状态。 匈牙利裔美国电气工程师和数学家 Rudolf E. Kalman

Elastic 中国社区官方博客 1113

Elastic:监控不同于可观察性的 3 个原因

监控是收集、提取和分析应用程序、基础设施和/或云遥测数据以评估系统运行状况的过程。监控依赖于指标,例如 CPU 或内存使用率和网络流量、日志和跟踪。这些数据使 IT 团队能够实时跟踪其基础设施和应用程序的性能和可用性。监控工具和平台可以提供仪表板和警报,并具有报告功能,以帮助 IT 团队监控组件、识别预测问题并解决给定环境中出现的问题。但是,监控工具传统上是孤立的,因此并不总是适合现代云架构和更大的环境。可观察性是一套实践和工具,使 IT 用户能够通过其生成的遥测和运营数据获得整个环境的整体视图。

Elastic 中国社区官方博客 1378

浅谈服务可观察性的三个指标

当论及可观察性时,不同的人往往会给予不同的反应。 更多的人会反问:什么是可观察性? 如何定义可观察性? 如果说服务的可观察性不容易定义,那么我们可以换个词来类比: 可视化, 即如何做到服务的可视化? 再讨论服务可视化之前,我们先来看看它的近亲:数据可视化。 每当论及数据可视化时,业界会有一些成熟的可视化模型来供我们落地使用。对这些模型进行抽象以后,我们可以发现,数据可视化的核心在于: ...

weixin_40597665的博客 1086

蚂蚁金服在云原生架构下的可观察性的探索和实践 | Meetup#3 回顾

作者:苟利(陈自欣),蚂蚁金服中间件产品专家, 负责蚂蚁金服分布式链路跟踪系统的产品化工作,在日志分析、监控领域有多年工作经验。本文根据 8 月 11 日 SOFA Me...

金融级分布式架构 567
上一篇: 优维低代码:Evaluate Placeholders 求值占位符
下一篇: 优维低代码:Placeholders 占位符
优维科技EasyOps
博客等级 码龄5年 1483粉丝 395原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值