链路追踪 SkyWalking 源码分析 —— Collector Queue 队列组件

支付宝资深架构师的分布式追踪 & APM 系统 SkyWalking 源码分析— DataCarrier 异步处理库 1. 概述本文主要分享 SkyWalking DataCarrier 异步处理库。基于生产者消费者的模式,大体结构如下图:实际项目中,没有 Producer 这个类。所以本文提到的 Producer ,更多的是一种角色。下面我们来看看整体的项目结构,如下图所示 :2. bufferorg.skywalking.apm.commons.datacarrier.buffer 包,主要包含 Channe... 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-queue-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版

  • 1. 概述

  • 2. collector-queue-define

  • 3. collector-queue-disruptor-provider

  • 4. collector-queue-datacarrier-provider

  • 666. 彩蛋


1. 概述

本文主要分享 SkyWalking Collector Queue Module,队列组件。该组件被 Collector Streaming Module 流式处理使用,提供异步执行的特性。

友情提示:建议先阅读 《SkyWalking 源码分析 —— Collector 初始化》 ,以了解 Collector 组件体系。

Cluster Module 在 SkyWalking 架构图处于如下位置( 红框 ) :

FROM https://github.com/apache/incubating-skywalking 

下面我们来看看整体的项目结构,如下图所示 :

  • collector-queue-define :定义队列组件接口。

  • collector-queue-datacarrier-provider :基于 apm-datacarrier 的队列组件实现。目前暂未完成。

  • collector-queue-zookeeper-provider :基于 Disruptor 的队列组件实现。

下面,我们从接口到实现的顺序进行分享。

2. collector-queue-define

collector-queue-define :定义队列组件接口。项目结构如下 :

2.1 QueueModule

org.skywalking.apm.collector.queue.QueueModule ,实现 Module 抽象类,队列 Module 。

#name() 实现方法,返回模块名为 "queue" 。

#services() 实现方法,返回 Service 类名:QueueCreatorService 。

2.2 QueueCreatorService

org.skywalking.apm.collector.queue.service.QueueCreatorService ,继承 Service 接口,队列创建服务接口。

#create(queueSize, executor) 接口方法,创建队列处理器。

  • 一般情况下,实现该接口方法,调用 `org.skywalking.apm.collector.queue.base.QueueCreator#create(queueSize, executor)` 方法,创建队列处理器。

2.3 MessageHolder

org.skywalking.apm.collector.queue.base.MessageHolder ,消息持有者。

  • `message` 属性,持有的消息。

  • `#reset()` 方法,清空消息。为什么会有这个方法,下文胖友会看到。

2.4 QueueEventHandler

org.skywalking.apm.collector.queue.base.QueueEventHandler,队列处理器接口。它定义了 #tell(message) 接口方法,输入消息给自己。最终,QueueEventHandler 会"提交"消息给 org.skywalking.apm.collector.queue.base.QueueExecutor,执行处理该消息。

LocalAsyncWorkerRef 实现 QueueEventHandler 接口,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》「3.1.2 LocalAsyncWorkerRef」 有详细解析。

2.5 DaemonThreadFactory

org.skywalking.apm.collector.queue.base.DaemonThreadFactory,守护进程线程工厂,被用于创建消息处理器的线程。

3. collector-queue-disruptor-provider

collector-queue-disruptor-provider ,基于 Disruptor 的队列组件实现。

项目结构如下 :

默认配置,在 application-default.yml 已经配置如下:

JSON queue: disruptor:

3.1 QueueModuleDisruptorProvider

org.skywalking.apm.collector.queue.disruptor.CQueueModuleDisruptorProvider ,实现 ModuleProvider 抽象类,基于 Disruptor 的队列服务提供者。

#name() 实现方法,返回组件服务提供者名为 "disruptor" 。

module() 实现方法,返回组件类为 QueueModule 。

#requiredModules() 实现方法,返回依赖组件为空。


#prepare(Properties) 实现方法,执行准备阶段逻辑。

  • 第 44 行 :创建 DisruptorQueueCreatorService 对象,并调用 #registerServiceImplementation() 父类方法,注册到 services 。

#start() 实现方法,方法为空。

#notifyAfterCompleted() 实现方法,方法为空。

2.2 DisruptorQueueCreatorService

org.skywalking.apm.collector.queue.disruptor.service.DisruptorQueueCreatorService,实现 QueueCreatorService 接口,基于 Disruptor 的队列创建服务实现类。

#create(queueSize, executor) 实现方法,调用 DisruptorQueueCreator#register(queueSize, executor) 方法,创建队列处理器。

3.2.1 DisruptorQueueCreator

友情提示:如果胖友对 Disruptor 暂时不了解,建议先使用 Disruptor 写个小 Demo 。

如下是笔者阅读的文章:

  • 《三步创建Disruptor应用》

  • 《Disruptor入门》

  • 《剖析Disruptor:为什么会这么快?(一)Ringbuffer的特别之处》

org.skywalking.apm.collector.queue.disruptor.base.DisruptorQueueCreator ,实现 QueueCreator 接口,基于 Disruptor 的队列创建器实现类。

#create(queueSize, executor) 实现方法,代码如下:

  • 第 42 至 45 行:校验队列大小为 2 的指数,否则创建 Disruptor 对象会报 "bufferSize must be a power of 2" 的异常,参见 AbstractSequencer 的代码。

  • 第 49 行:创建 Disruptor 对象。

    • `org.skywalking.apm.collector.queue.disruptor.base.MessageHolderFactory` ,MessageHolder 工厂。

  • 第 51 至 64 行:设置 Disruptor 对象的默认异常处理器。

  • 第 67 至 70 行:创建 DisruptorEventHandler 对象,并设置为 Disruptor 对象的事件处理器。

  • 第 74 行:启动 Disruptor 对象。

为什么 Disruptor 要求队列大小为 2 的指数呢?如下是相关资料,感兴趣的同学可以看看( 可跳过 ):

  • FROM 《环形缓冲器》

  • SingleProducerSequencer#hasAvailableCapacity(requiredCapacity) 方法,代码如下:

3.3 DisruptorEventHandler

org.skywalking.apm.collector.queue.disruptor.base.DisruptorEventHandler ,基于 Disruptor 的队列处理器实现类。

  • `ringBuffer` 属性,Disruptor RingBuffer 对象。

  • `executor` 属性,执行器。

  • 实现 org.skywalking.apm.collector.queue.base.QueueEventHandler 接口 的 `#tell(message)` 接口方法,标准的 Disruptor 发布事件的代码。

  • 实现 `com.lmax.disruptor.EventHandler` 的 `#onEvent(event, sequence, endOfBatch)` 接口方法,代码如下:

    • `endOfBatch` 方法参数,标记该事件( 消息 )是否是 Disruptor 每次批处理的最后一个事件。胖友可以参见 《LMAX Disruptor - what determines the batch size?》 这篇文章,自己搭建一个 Demo 理解下该参数。

    • 第 66 行:调用 `MessageHolder#reset()` 方法,清空消息,因为在 Disruptor RingBuffer 里,事件( 消息 )对象是重用的,虽然后续发布事件( 消息 )可以进行覆盖,考虑到安全性进行清空。

    • 第 69 行:设置消息为该批量的结尾( 最后一条 )。为什么?在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)》「3. AggregationWorker」 揭晓答案。

    • 第 72 行:调用 `QueueExecutor#execute(message)` 方法,执行处理消息。

4. collector-queue-datacarrier-provider

collector-queue-datacarrier-provider :基于 apm-datacarrier 的队列组件实现。

目前暂未完成。


欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

源码角度了解Skywalking之Skywalking是如何进行JVM监控的 大家都知道Skywalking可以监控Java的JVM情况,包括垃圾回收情况等等,那么它是怎么实现的呢?今天就带大家一探究竟。通过前几篇的文章我们知道,Skywalking启动的时候,会加载各种BootService实现类,而有关JVM的BootService实现类就是JVMServiceJVMService可以看做一个定时器,它收集JVM cpu、内存、内存池和gc 信息等等参数,并将收集到的信息通过GRPCChannelManager提供的通道发送给Collector,GRPCChannelManage 阅读详情

相关推荐

初识数据结构之入门必懂——线性表(顺序表)

本文将介绍数据结构中的线性表与线性表中最简单的结构——顺序表

m0_64705485的博客 905

SkyWalking--告警--使用/教程/示例

本文介绍SkyWalking的告警功能的用法。 SkyWalking支持WebHook、gRPC、微信、钉钉、飞书等通知方式。

IT利刃出鞘的博客 6993

不用SE63逐个翻译!ABAP函数LXE_OBJ_TEXT_PAIR_WRITE批量处理TCODE描述的3种姿势

本文介绍了三种利用ABAP函数LXE_OBJ_TEXT_PAIR_WRITE批量翻译SAP事务码(TCODE)描述的高效方案,旨在替代SE63逐个翻译的低效操作。内容涵盖从基础循环、Excel导入到全自动程序集成的实现方法,帮助开发者显著提升批量翻译效率,并深入解析了SAP翻译体系的核心原理与实战技巧。

weixin_42593130的博客 660

分布式链路追踪-skywalking体验

SkyWalking 是一个可观测性分析平台(OPA)和应用程序性能管理系统(APM)。

yourgod007的博客 1349

NXP S32K1 SPI驱动实战:从配置到DMA传输的完整流程解析

本文深入解析了NXP S32K1系列MCU的SPI驱动开发全流程。基于S32 Design Studio环境,详细阐述了从引脚配置、LPSPI模块初始化,到实现阻塞、中断及DMA三种传输模式的实战代码与配置要点。文章重点剖析了DMA传输的配置细节与性能优化,旨在帮助开发者构建高效、稳定的嵌入式SPI通信,并提供了SPI Flash驱动的综合案例。

blue42的博客 719

SRAM vs RRAM:存算一体芯片选型指南(含最新技术对比)

本文深入对比了SRAM与RRAM在存算一体芯片设计中的核心差异,为硬件工程师和架构师提供实战选型指南。文章从技术本质、性能、功耗、成本及设计风险等多维度剖析,指出SRAM基于成熟CMOS工艺,适合高精度、低延迟场景;而RRAM凭借非易失性和高密度潜力,在超低功耗、固定模型应用中优势明显。决策需综合项目预算、上市时间及技术储备。

e4f5g6h的博客 944

微服务链路追踪SkyWalking第四课 环境搭建和SkyWalking Agent详解

第08讲:搭建 SkyWalking 源码环境,开启征途 在第一课时中,我们已经成功安装并运行了 SkyWalking 环境,本课时将带你完成 SkyWalking 源码环境的搭建 ,并在 IDEA 中尝试调试 SkyWalking Agent。 搭建 SkyWalking 源码环境 下载 SkyWalking 源码 执行 git clone 命令从 GitHub下载 SkyWalking 源码,如下所示 : git clone git@github.com:apache/sk

fegus的博客 3476

科研绘图系列:R语言折线图(linechart plots)

科研绘图系列:R语言折线图(linechart plots)

专注生信领域 1272

skywalking源码--轻量级队列内核

skywalking-agent、DataCarrier、skywalking-agent轻量级队列

SO_zxn的博客 866

C++和OpenGL实现3D游戏编程【连载7】——文字和汉字的显示(附源码)

上一节我们讨论了纹理在二维平面内不规则图形贴图的相关基础操作,本节我们开始了解游戏里文字以及汉字的显示方法。本节课我们将从基本的ASCII字符显示,拓展到中文字符的显示,最后再讲到纹理字符的显示,并对各种文字显示方法的优缺点和使用场景进行分析,这节课将使用到显示列表、兼容视图、屏幕图形转纹理等操作。

zhooyu的博客 1501

基于强化学习的多无人机路径规划

我们使用了Dueling Double Deep Q-Network(DDDQN)算法来训练智能体,这个算法在深度Q学习算法的基础上进行了升级,具有更快的收敛速度和更好的性能。本文提出了一种基于强化学习的算法,实现了多无人机路径规划,并提供相应的MATLAB代码。通过基于强化学习的多无人机路径规划算法,我们能够高效地解决复杂环境下的任务需求,并在实际应用中取得了良好的效果。首先,我们定义了状态空间和动作空间。实验结果表明,我们的方法能够有效地解决多无人机路径规划问题,提高了任务完成的效率和准确率。

DjjPython的博客 822

skywalking使用方法_链路追踪 SkyWalking 源码分析 —— Collector Queue 队列组件

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-queue-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. collector-queue-define3. collector-queue-disruptor-provider4. collector-queue-da...

weixin_39543773的博客 221

【Bug已解决】codex: tool call timeout / Function execution exceeds limit — CodeX CLI 工具调用超时解决方案

CodeX CLI 工具调用超时(Bash/文件/MCP)的解决方案,含增加超时、拆分命令、后台运行、避免交互卡住与限制读取。

博客 4215

SkyWalking 高级特性:Event(事件上报)功能详解

SkyWalking 的 Event(事件上报) 功能是分布式系统可观测性的重要补充,允许标记关键事件(如发布、配置变更)到时间轴上,与链路、指标数据联动分析。事件包含来源、名称、时间、标签等结构化字段,支持通过 gRPC/HTTP API 或 Agent 插件上报。在 UI 中,事件可与 Trace 和指标图表关联,帮助快速定位问题根因(如发布导致错误率上升)。与日志不同,Event 更侧重标记离散的重要状态变更。建议规范事件命名和标签设计,实现操作与现象的因果关联,提升故障排查效率。

csdn_tom_168的博客 1107

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Apache SkyWalking与RabbitMQ集成:消息队列监控实践

你是否正面临这些RabbitMQ监控难题?消息堆积导致系统雪崩、消费者异常却无法定位根源、网络波动引发消息丢失却缺乏追踪手段?Apache SkyWalking(分布式追踪系统,Application Performance Monitoring System,APM)提供全链路可观测性解决方案,通过无侵入式探针技术,实现RabbitMQ消息从生产到消费的全生命周期追踪。本文将系统讲解集成部署、核...

gitblog_01128的博客 1277

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

skywalking应用性能监控

SkyWalking 是一个开源的可观测性平台,用于收集、分析、汇总和可视化来自服务及云原生基础设施的数据。Apache SkyWalking 的 Java agent,为 Java 项目提供原生的跟踪/指标/日志/事件/分析能力。jvm 参数新增 -javaagent:./skywalking-agent/skywalking-agent.jar。将apache-skywalking-java-agent-9.4.0.tgz 解压到项目目录。进入/app/run/test修改agent配置文件。

TanYYF的专栏 1386

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

搞懂SkyWalking(40张图)

从图中可以看出我们只采用了 SkyWalking 的 agent 来进行采样,放弃了另外的「数据上报及分析」,「数据存储」,「数据可视化」三大组件,那为啥不直接采用 SkyWalking 的整套解决方案呢,因为在接入 SkyWalking 之前我们的 Marvin 监控生态体系已经相对比较完善了,如果把其整个替换成 SkyWalking,一来没有必要,Marvin 在大多数场景下都能满足我们的需求,二来系统替换成本高,三来如果重新接入用户学习成本很高。对于技术方案的选型,一定要避免过度设计,过犹不及。

zhangjunli的博客 3117

五分钟了解SkyWalking的核心功能以及必须掌握的重要概念

SkyWalking是一个开源的可观测性平台,用于收集、分析、聚合和可视化来自服务和云原生基础架构的数据。SkyWalking提供了一种简单的方法来保持我们的分布式系统的清晰视图,甚至跨云。它是一个现代的APM,专门为云原生的、基于容器的分布式系统而设计。 使用 SkyWalking 时,用户可以看到服务与端点之间的拓扑结构以及每个服务、服务实例和端点的性能指标,还可以设置报警规则。

liwenxiang629的博客 1297

Skywalking的DataCarrier

之前分析源码时经常会看到DataCarrier这个类,现在详细分析一下这个。 简单来说就是维护了一个本地的轻量级消息队列模型,主要目的为了防止收集方生成数据速度大于往后端发送数据速度造成的数据积压和生成方阻塞。 这里有几个关键类: DataCarrier 主要类型,针对内存消息队列的操作都是以这个类为入口的。 该类持有了Channels和IDriver Channels 数据通道集合,用于针对数据的存取操作。主要有以下属性: bufferChannels 数据的存取操作 dataPartitioner

vinylon的博客 1182

分布式性能测试工具SKyWalking 使用介绍

1:SkyWalking UI 为SkyWalking观测分布式群集提供了默认且强大的可视化功能,它主要分为以下几个区域: 功能选择区:这里列出了主要的UI功能,包括仪表盘、拓扑图、追踪、性能刨析、告警等功能 重新加载区:控制重新加载机制,包括定期重新加载或手动重新加载。 时间选择器:控制时区和时间范围。这里有一个中文/英文切换按钮,默认,UI使用浏览器语言设置。 2:仪表盘 仪表盘又分为以下几个功能: APM:以全局(Global)、服务(Service)、服务实例(Instance)、端点(Endp

weixin_42354199的博客 3395

SkyWalking 源码分析 —— Collector Queue 队列组件

1. 概述 本文主要分享SkyWalking Collector Queue Module,队列组件。该组件被 Collector Streaming Module 流式处理使用,提供异步执行的特性。 友情提示:建议先阅读《SkyWalking 源码分析 —— Collector 初始化》,以了解 Collector 组件体系。 Cluster Module 在 SkyWalking 架构图处于如下位置(红框) : FROMhttps://github.com/apache/inc...

weixin_42073629的博客 294

Apache SkyWalking创始人吴晟:首次披露v9版的十大Layer功能

官方解读全栈APM v9版本新功能

m0_46700908的博客 3744

Tetrate刘晗:SkyWalking原生eBPF探针实战

eBPF可从内核态和用户态两个层面监控系统,以全局视角进行操作

m0_46700908的博客 5829

skywalking测试环境部署实战

skywalking测试环境部署实战

weixin_43757027的博客 2333

一文搞懂全链路监控:方案概述与比较 | 干货

原文标题为《全链路监控(一):方案概述与比较》,作者陶邦仁,链接:https://www.jianshu.com/p/92a12de11f180—问题背景随着微服务架构的流行,服务按照...

weixin_38320674的博客 4310
上一篇: 实现扫码登陆的最简单方案与原理
下一篇: 如何发现 Redis 热点 Key ,解决方案有哪些?
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值