Databend 全链路追踪

Rust 语言的全链路追踪库 tracing 在一个应用程序或库的开发过程中,除了其本身的逻辑以外,开发人员还需要做很多额外的工作,以保证编写的代码可以正确的运行,或者在出错时可以快速定位到错误的位置以及原因,这就需要引入一些额外的工具,trace 就是其中特别好用的一种,下文我将会简单介绍 trace,并以 Rust 为例,演示 trace 在 Rust 中的使用方法。 阅读详情

全链路追踪意味着能够追踪到每一个调用请求的完整调用链路、收集性能数据并反馈异常。Databend 使用 tracing 赋能可观测性,实现全链路追踪。

Databend 与 Tracing

初步了解 Databend 怎么实现全链路追踪。

初识 Tracing

Tracing 是由 Tokio 团队维护的 Rust 应用跟踪框架,用来收集结构化的、基于事件的诊断信息。

项目地址:https://github.com/tokio-rs/tracing

示例:

use tracing::{info, Level};
use tracing_subscriber;

fn main() {
    let collector = tracing_subscriber::fmt()
        // filter spans/events with level TRACE or higher.
        .with_max_level(Level::TRACE)
        // build but do not install the subscriber.
        .finish();

    tracing::collect::with_default(collector, || {
        info!("This will be logged to stdout");
    });
    info!("This will _not_ be logged to stdout");
}

Databend 中的 Tracing

Databend 的 tracing-subscriber 被统一整合在 common/tracing,由 query 和 meta 共用。

// Use env RUST_LO to initialize log if present.
// Otherwise use the specified level.
let directives = env::var(EnvFilter::DEFAULT_ENV).unwrap_or_else(|_x| level.to_string());
let env_filter = EnvFilter::new(directives);
let subscriber = Registry::default()
    .with(env_filter)                # 根据环境变量过滤
    .with(JsonStorageLayer)          # 利用 tracing-bunyan-formatter 格式化为 json
    .with(stdout_logging_layer)      # 标准输出
    .with(file_logging_layer)        # 输出到文件,默认位于 `_logs` 目录下
    .with(jaeger_layer);             # opentelemetry-jaeger

#[cfg(feature = "console")]
let subscriber = subscriber.with(console_subscriber::spawn()); # tokio console

tracing::subscriber::set_global_default(subscriber)
    .expect("error setting global tracing subscriber");

具体到内部的 tracing 记录,大致有两类:

  • 普通:与其他 log 方式一样,利用 info!、debug! 来收集信息。

use common_tracing::tracing;

tracing::info!("{:?}", conf);
tracing::info!("DatabendQuery {}", *databend_query::DATABEND_COMMIT_VERSION);
  • Instruments:在调用函数时创建并进入 tracing span(跨度),span 表示程序在特定上下文中执行的时间段。

use common_tracing::tracing::debug_span;
#[tracing::instrument(level = "debug", skip_all)]
async fn read(&mut self) -> Result<Option<DataBlock>> {
    ...
        fetched_metadata = read_metadata_async(&mut self.reader)
            .instrument(debug_span!("parquet_source_read_meta"))
            .await
            .map_err(|e| ErrorCode::ParquetError(e.to_string()))?;
    ...
}

示例:

{
  "v": 0,
  "name": "databend-query-test_cluster@0.0.0.0:3307",
  "msg": "Shutdown server.",
  "level": 30,
  "hostname": "dataslime",
  "pid": 53341,
  "time": "2022-05-11T00:51:56.374807359Z",
  "target": "databend_query",
  "line": 153,
  "file": "query/src/bin/databend-query.rs"
}

观测 Databend 追踪的方式

Databend 原生提供了多种观测方式,以方便诊断和调试:

  • http tracing :访问 localhost:8080/v1/logs(根据配置)

  • stdout/filelog :检查终端输出或 _logs 目录(根据配置)

  • system.tracing 表 :执行 select * from system.tracing limit 20; 

  • jaeger :运行 jaeger ,访问 http://127.0.0.1:16686/ 

  • console :按特定方式构建后,运行 tokio-console

Jaeger 分布式追踪

使用 Jaeger 对 Databend 进行全链路追踪。

Opentelemetry & Jaeger

OpenTelemetry 是工具、API 和 SDK 的集合。使用它来检测、生成、收集和导出遥测数据(度量、日志和追踪),以帮助您分析软件的性能和行为。

Jaeger 是一个开源的端到端分布式追踪系统。由 Uber 捐赠给 CNCF 。它可以用于监视基于微服务的分布式系统,提供以下能力:

  • 分布式上下文传播

  • 分布式事务监视

  • 根本原因分析

  • 服务依赖性分析

  • 性能/延迟优化

Step by Step

遵循下述步骤,即可使用 Jaeger 探索 Databend :

  • 构建二进制程式:cargo build(可以使用 --bin 指定)

  • 将日志级别设定为 DEBUG ,运行需要调试的应用程式。例如,LOG_LEVEL=DEBUG ./databend-query

  • 运行 jaeger :docker run -d -p6831:6831/udp -p6832:6832/udp -p16686:16686 jaegertracing/all-in- one:latest

  • 打开 http://127.0.0.1:16686/ 以查看 jaeger 收集的信息

结果探索

x 轴是执行时刻,y 轴是持续的时间,圆点反映 span 的聚集程度。

执行下述语句即可得到上图所示追踪结果:

CREATE TABLE t1(a INT);
INSERT INTO t1 VALUES(1);
INSERT INTO t1 SELECT * FROM t1;

Timeline

下图是点击最大的圆点得到的追踪情况:

使用 timeline 模式来展现 tracing 的各个跨度之间的关系。以时间为主线进行分析,方便使用者观看在某个时间点观看程序信息。

点开第一个跨度,可以看到这是执行 INSERT INTO t1 SELECT *FROM t1 查询时的情况。

Graph

切换到 graph 模式,可以看到各个 span 之间的调用链,每个 span 具体用时 ,以及百分比。

通过这个视图使用者很容易知道系统瓶颈,快速定位问题。

Compare

连起来的各个部分形成整个 trace 的调用链。因为比较时一般会比较两个相同类型的调用,所以看到的会是重合后的视图。

对于颜色的一个说明:

  • 深绿色,表示这个 span 只存在于 trace-B 中,A 没有这个 span

  • 深红色,表示这个 span 只存在于 trace-A 中,B 没有这个 span

  • 浅绿色,表示这个 span 在 trace-B(右边这个)的数量多

  • 浅红色,表示这个 span 在 trace-A(左边这个)的数量多

tokio-console 诊断

tokio-rs 团队出品的诊断和调试工具,可以帮助我们诊断与 tokio 运行时相关的问题。

console 是什么

tokio-console 是专为异步程序设计的调试与诊断工具,能够列出 tokio 的任务,提供对程序的任务和资源的实时、易于导航的视图,总结了它们的当前状态和历史行为。主要包含以下组件:

  • 传输诊断数据的协议

  • 用于收集诊断数据的仪器

  • 当然,用于展示和探索诊断数据的实用工具

项目地址:https://github.com/tokio-rs/console

Step by Step

  • 使用特定的 rustflags 和 features 来构建:RUSTFLAGS="--cfg tokio_unstable" cargo build --features tokio-console ,也可以只构建单个二进制程式,使用 --bin 进行指定。

  • 将日志级别设定为 TRACE ,运行需要调试的应用程式 LOG_LEVEL=TRACE databend-query 或者 databend-meta --single --log-level=TRACE。可以使用 TOKIO_CONSOLE_BIND 指定端口,以避免潜在的端口抢占问题。

  • 运行 tokio-console,默认连接到 http://127.0.0.1:6669

结果探索

任务

先看什么是 tokio 任务:

  • 任务是一个轻量级的、非阻塞的执行单元。类似操作系统的线程,但是是由 tokio 运行时管理,一般叫做“绿色线程”,与 Go 的 goroutine,Kotlin 的 coroutine 类似。

  • 任务是协同调度的。大多数操作系统实现抢占式多任务。操作系统允许每个线程运行一段时间,然后抢占它,暂停该线程并切换到另一个线程。另一方面,任务实现协同多任务。一个任务被允许运行直到它让出执行权,运行时会切换到执行下一个任务。

基础视图

通过左右切换,可以得到总忙时间或轮询次数等指标对任务进行排序。控制台通过高亮来提示较大差异,比如从毫秒到秒的切换。

控制台还实现了一个“警告”系统。通过监视应用程序中任务的运行时操作,控制台可以检测可能提示 bug 或性能问题的行为模式,并突出显示这些行为模式供用户分析。比如已经运行了很长时间而没有让步的任务,唤醒的次数比被其他任务唤醒的次数还要多的任务。

任务视图

上下切换选中任务,enter 查看关于每个任务的翔实数据,比如轮询持续时间的直方图。

不仅列出任务。console 还会插入异步互斥和信号量等资源。Tokio Console 的资源详细信息视图显示了哪些任务已经进入临界区,哪些任务正在等待获得访问权限。

还能做什么

还能做什么

与分布式追踪和日志系统相关的一些其他内容。

可观测性 + +

目前还有一系列关于可观测性和 Tracing 的 Issue 有待解决:

  • Integrate tokio metrics for query task based tokio runtime monitoring #4205

  • Configure on jaeger tracing address similar to metrics api server #3633

  • Summary of todos about distributed tracing #1227

  • Query traces and analysis, based on user behavior. #1177

  • Http stack traces #1085

  • Shuffle read/write metrics #1004

另外,更进一步的考量是,如何基于可观测性来自动/半自动地发现问题并对系统进行调优。

了解更多

Tracing

  • https://github.com/tokio-rs/tracing

  • https://docs.rs/tracing/latest/tracing/

  • https://tokio.rs/blog/2019-08-tracing

Jaeger

  • https://github.com/open-telemetry/opentelemetry-rust/tree/main/opentelemetry-jaeger

  • https://21-lessons.com/ship-rust-tracing-spans-to-jaeger/

tokio-console

  • https://github.com/tokio-rs/console

  • https://hackmd.io/@aws-rust-platform/ByChcdB-t

  • https://tokio.rs/blog/2021-12-announcing-tokio-console 

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databendwewwfdf

编写可观察的 Rust 应用程序 当今复杂动态系统的可观察性取决于领域知识,或者更重要的是,基于不完整的领域知识产生的未知“未知”。换句话说,落在裂缝之间的案例让我们感到惊讶,如以下引文所示:我们花了不到一个小时就弄清楚了如何恢复网络;需要额外的几个小时,因为我们花了很长时间才控制行为异常的 IMP 并使它们恢复正常。内置的软件警报系统(当然,假设它不受误报的影响)可能使我们能够更快地恢复网络,从而显着缩短中断的持续时间。 阅读详情

相关推荐

深入理解tracing日志系统及其在Rust中的应用

本文深入探讨了Rust编程语言中tracing日志库的高级用法,包括如何配置tracing-subscriber以构建日志处理流水线,以及如何通过tracing-bunyan-formatter格式化日志输出。文中详细说明了如何利用不同层次的Layer来丰富日志信息,并强调了结构化日志在提高系统可观测性中的作用。通过实际代码示例,展示了如何将日志信息与追踪信息结合,以实现更高效的日志管理和查询。

weixin_42128315的博客 434

Rust:tracing日志库笔记

rust的tracing、tracing_subscriber、tracing_appender的相关使用笔记

qq_54714089的博客 3447

rustracing_jaeger:用于Rust的Jaeger跟踪库

rustracing_jaeger 客户端库是在之上创建的。 例子 基本用法 use rustracing :: sampler :: AllSampler; use rustracing_jaeger :: Tracer; use rustracing_jaeger :: reporter :: JaegerCompactReporter; // Creates a tracer let (span_tx, span_rx) = crossbeam_channel :: bounded ( 10 ); let tracer = Tracer :: with_sender (AllSampler, span_tx); { let span = tracer. span ( "sample_op" ). start (); // Do something } // The

Rust使用tracing记录日志

markdown代码解读复制代码1. tracing:核心API的定义 2. tracing-subscriber: 中间层,订阅event,span,然后根据其中的属性做一些定制操作 3. tracing-appender: 负责实际的日志写入 4. chrono(可选):tracing默认配置的时区为UTC,通过这个包自定义到本地时区csharp代码解读复制代码。

2403_88969259的博客 869

附录B:Standard Delay Format(SDF)(上)

本附录将介绍标准延迟标注格式,并说明了如何在仿真中执行反标。 延迟格式描述了设计网表的单元延迟和互连走线延迟,无论设计是用两种主要硬件描述语言(VHDL或Verilog HDL)中的哪一种所描述的。 本章还会介绍仿真的反标(backannotation),STA的反标其实是一个简单直接的过程,其中DUA中的时序弧将由SDF所指定的延迟进行标注。

To the beyond and infinity! 5415

2025年北京市职工职业技能大赛第六届信息通信行业网络安全技能大赛复赛CTF部分WP-哥斯拉流量分析

题目没有任何提示,附件gzl.pcap解题哥斯拉流量300多KB包很多,没啥经验只能挨个看回来之后又狠狠得撸了一把哥斯拉流量分析我这里用的是哥斯拉4.0.1测试链接这里发了两个包,我们进行分析。

深耕网络安全领域,聚焦护网行动(HW)、渗透测试、等级保护(等保)、CTF 竞赛四大核心方向,提供技术干货、实战经验与行业洞察。 1814

Rust日志应用(tracing_subscriber )教程

本文介绍了Rust中tracing_subscriber库的使用方法,从基础配置到高级功能。主要内容包括:1) 基础依赖配置和简单订阅者初始化;2) 日志级别控制(代码指定和环境变量两种方式);3) 自定义日志格式(时间、模块、文件名等);4) JSON格式输出;5) 多目标输出(控制台和文件);6) Span信息处理(嵌套结构、自定义字段等)。通过示例代码展示了如何实现日志收集、过滤和格式化,以及如何利用Span追踪程序调用链。该库为Rust应用提供了强大的日志和追踪功能,特别适合需要高可观测性的生产环境

北京锋通科技有限公司的技术blog 1736

Vast.ai GPU服务器租用与SSH密钥连接实战指南

本文详细介绍了如何在Vast.ai平台租用GPU服务器并通过SSH密钥安全连接的全流程。从注册、选配GPU型号到SSH密钥生成与配置,再到实战中的端口转发和文件传输技巧,帮助用户高效利用云端GPU资源进行深度学习等计算密集型任务。

weixin_29574585的博客 533

4.2 日志处理:tracing 和 tracing-subscriber,生产级日志方案

Rust日志处理方案摘要 tracing和tracing-subscriber构成了Rust生态中生产级日志解决方案的核心。相比简单的println!,它们提供: 结构化日志:支持时间戳、日志级别、源代码位置等元数据 span概念:可追踪代码执行流程和工作单元 灵活配置:通过Subscriber实现日志处理与业务逻辑分离 性能优化:避免I/O阻塞,支持异步记录 关键特性包括: span!宏标记执行区间 #[instrument]自动为函数添加追踪 EnvFilter实现动态日志级别控制 支持JSON等结构化

yonggeit的博客 3186

基于STM32F427的模拟SSI协议绝对式编码器位置反馈通信

基于STM32F427的模拟SSI协议绝对式编码器位置反馈通信

xeke997的博客 6069

solidworks vba二次开发配合问题

solidworks vba二次开发配合问题二次开发装配的步骤 二次开发装配的步骤 solidworks可以使用宏录制配合过程从而得到配合的vba代码,步骤如下: 1.选择两个配合的面(点、线等) 2. 建立配合 例如将两个圆柱面同心(图中高亮): 配合后 我们看一下宏录制的代码: Sub main() //激活solidworks接口 Set swApp = Application.SldWorks Set Part = swApp.ActiveDoc //选择两个圆柱面,注意此处是根据坐标选择,不

Alejandro123的博客 3409

RISC Zero各功能模块代码解析

RISC Zero各功能模块代码解析

mutourend2010@gmail.com 1686

OpenSees入门指南:从零开始的环境配置与TCL脚本实战

本文提供了一份详细的OpenSees入门指南,涵盖从零开始的环境配置到TCL脚本实战的全过程。文章重点讲解了OpenSees的安装步骤、环境变量设置,并推荐了高效的VS Code集成开发环境配置方法。通过一个简支梁分析的完整TCL脚本示例,手把手引导读者完成第一个非线性有限元分析,帮助土木工程与结构工程领域的研究者与学生快速上手这一强大的开源分析工具。

weixin_28829339的博客 340

宝塔Mysql无法启动

【代码】宝塔Mysql无法启动。

m0_52796585的博客 1049

YOLOv11改进,YOLOv11添加DCNv4可变性卷积(windows系统成功编译),二次创新C3k2结构,全网最详细教程

引入了可变形卷积 v4 (DCNv4),这是一种为广泛视觉应用设计的高效且有效的操作算子。DCNv4通过两项关键增强解决了其前身DCNv3的局限性:1. 移除空间聚合中的softmax归一化,以增强其动态特性和表达能力;2. 优化内存访问以最小化冗余操作,从而加速计算。这些改进使得DCNv4相比DCNv3显著加快了收敛速度,并且处理速度大幅提升,前向传播速度超过三倍。DCNv4在多个任务中表现出色,包括图像分类、实例和语义分割,特别是在图像生成方面表现突出。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 2668

RK3568移植AP6256

本文主要是记录RK3568移植正基的AP6256的WIFIBT模块,感兴趣的朋友可以一起学习!!!提示:以下是本篇文章正文内容,下面案例可供参考。

qq_24093081的博客 3718

探索与揭秘:Rust编程中的高级诊断工具——Tracing

![Tracing — 结构化应用级诊断][splash] [splash]: https://raw.githubusercontent.com/tokio-rs/tracing/master/assets/splash.svg 在软件开发中,实时的诊断信息对于调试和性能优化至关重要。Rust生态中的Tracing库,就是这样一个强大而灵活的工具,它提供了一套结构化的事件跟踪系统,帮助开发者...

gitblog_00083的博客 778

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

如何在napi-rs项目中实现函数调用跟踪:使用tracing-subscriber输出执行日志的完整指南

napi-rs是一个通过Node-API在Rust中构建编译型Node.js插件的框架,它允许开发者利用Rust的性能优势和Node.js的生态系统创建高效的原生扩展。在开发复杂的napi-rs项目时,函数调用跟踪和日志输出对于调试和性能优化至关重要。本文将详细介绍如何在napi-rs项目中集成tracing-subscriber,实现函数调用的详细跟踪和日志输出。 ## 为什么需要函数调用跟踪

gitblog_00485的博客 776

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Tracing生态系统深度探索:子模块功能解析

本文深入探讨了Tracing生态系统的四个核心子模块:tracing-core、tracing-subscriber、tracing-attributes和tracing-appender。tracing-core作为基础层提供了稳定的API和性能保证;tracing-subscriber通过Layer系统实现了订阅者的模块化组合;tracing-attributes通过过程宏自动化代码注入;tr...

gitblog_00668的博客 931

Tracing-Subscriber完整使用手册:从基础配置到高级定制

Tracing-subscriber是Rust生态中用于实现和组合tracing订阅者的核心工具库,它提供了丰富的格式化选项和灵活的配置方式,帮助开发者快速构建高效的日志追踪系统。🎯 在本文中,我们将深入探讨tracing-subscriber的完整使用流程,从最简单的初始化到高级的定制化配置,让您全面掌握这个强大的日志追踪工具。 ## 快速入门:5分钟搭建基础日志系统 想要快速上手tra

gitblog_01290的博客 864

Rustt 异步调试:tracing 与 tokio-console 的可观测性

println!调试在async中是无效的。println!// <-- Task A 在这里挂起// (100 个其他 Task 在此期间运行)println!");在tokio运行时中,上述两个println!之间可能间隔数秒,并且被其他 100 个任务的日志淹没。我们无法知道:1. Task A 挂起了多久?2. 它在等待谁(Task B)释放锁?3. Task B 为什么持有锁这么久?tracing和就是为了回答这些问题。graph TD。

seven_767823098的博客 855

Rust:axum学习笔记(4) 上传文件

已经正确处理,并发生了302重定向,但是浏览器里会报错connection_reset(不知道是不是axum的bug)3. 防止伪装mimetype进行攻击(比如:把.js文件改后缀变成.jpg伪装图片上传,早期有很多这类攻击)另外,上传图片后,还可以让浏览器重定向到上传后的图片(当然,仅仅只是演示技术实现,实际应用中并非一定要这样)2. 文件上传的类型限制(仅限指定类型:比如图片)上传后,用/save_image来处理图片上传。没有上传文件或文件格式不对。1. 文件上传的大小限制。2. 文件尺寸太大时。.

liuno0的博客 2625

如何在rust中输出日志:在rust中打印日志的各种方式对比

有许多库可以在 Rust 中输出日志,有时很难选择该使用哪一个。当println!dbg!和eprintln!无法解决问题时,找到一种方便记录日志的方法就很重要,尤其是在生产级应用程序中。本文将帮助您深入了解在 Rust 日志记录方面最适合您的用例的日志 crate。

xuejianxinokok的专栏 3096

Volo - Rust gRPC 框架实战

Volo 小试牛刀

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 2469

【Rust日报】2023-06-20 使用Quickwit、Jaeger和Grafana监控您的Rust应用程序

使用Quickwit、Jaeger和Grafana监控您的Rust应用程序你可能已经看过了Lucas Palmieri的博客文章Are we observable yet? An introduction to Rust telemetry。如果你还没有看过,我们建议阅读一下,因为它提供了一个全面的介绍,介绍了如何处理 Rust 代码中的日志。然而,仅仅记录日志可能是不够的,特别是在分布式架构中。...

Rust语言学习交流 757
上一篇: 可靠分布式系统- paxos 的直观解释
下一篇: 解密云原生数据库|Data Infra 研究社第一期
Databend
博客等级 码龄5年 1458粉丝 362原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值