分布式追踪 & APM 系统 SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)

Skywalking系列之最新版9.2.0-JavaAgent本地构建 Skywalking-agent 9.2.0-SNAPSHOT,JDK 11 (最新的代码要看最新的要求,注意不能使用JDK8,会构建失败),Maven 3.6.0。获取源码,加载submodule,maven构建,kywalking-agent包 阅读详情

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-streaming-second/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版


������关注微信公众号:【芋道源码】有福利:
1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。

> 5. 认真的源码交流微信群。

1. 概述

本文接 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》 ,主要分享 Collector Streaming 流式处理的第二部分。主要包含如下部分:

  • AggregationWorker :聚合处理数据,后提交 Data 到 Next 节点们处理。
  • PersistenceWorker :聚合处理数据,后存储 Data 。

2. Data

AggregationWorker 和 PersistenceWorker ,都先聚合处理数据,在进行各自的后续处理。那么聚合处理的数据结果,需要有容器进行缓存暂存:

  • org.skywalking.apm.collector.core.cache :接口
  • org.skywalking.apm.collector.stream.worker.impl.data :实现

类图如下:

  • Collection :数据采集,提供有读、写两个状态的数据容器。
  • Window :窗口( ��这个解释怪怪的 ),内有两个 Collection。
    • 一个 Collection ,负责写入数据数据
    • 一个 Collection ,负责读出处理数据
    • 当写的 Collection 符合处理的条件,读写 Collection 切换

2.1 Collection

org.skywalking.apm.collector.core.cache.Collection ,数据采集接口。

  • 数据相关 :#collection() / #size() / #clear()
  • 读相关 :#reading() / #isReading() / #finishReading()
  • 写相关 :#writing() / #isWriting() / #finishWriting()

2.2 DataCollection

org.skywalking.apm.collector.stream.worker.impl.data.DataCollection ,实现 Collection 接口,数据采集实现类,使用 Map 作为数据容器。

2.3 Window

org.skywalking.apm.collector.core.cache.Window ,窗口抽象类。

构造方法 ,代码如下:


切换 Collection 相关,方法如下:

  • #trySwitchPointer() 方法,返回是否可以切换 Collection 。可以切换需要满足如下条件:
    • 只有一个调用方申请切换,通过 windowSwitch 属性进行计数。
    • 原数据指向不处于正在读取状态。如果切换,一边读一边写,可能会有并发问题。
    • 无论是否可以切换 Collection ,需要调用 #trySwitchPointerFinally() 方法,释放 windowSwitch 的计数。
  • #switchPointer() 方法,切换数据指向,并标记原数据指向的 Collection 正在读取中。
  • #finishReadingLast() 方法,清空原数据指向的 Collection 数据,并标记原数据指向的 Collection 完成读取( 不在正在读取中 )。

写 Collection 相关,方法如下:

  • #getCurrentAndWriting() 方法,获得现数据指向,并标记正在写入中。通过正在写入标记,切换 Collection 完成后,可以判断该 Collection 正在写入中,若是,等待不在写入中,开始数据读取并处理。

2.4 DataCache

org.skywalking.apm.collector.stream.worker.impl.data.DataCache ,实现 Window 抽象类,数据缓存。


写 Collection 相关,方法如下:

  • #writing() 方法,调用 #getCurrentAndWriting() 方法,开始写入。即,获得现数据指向,并标记正在写入中。
    • lockedDataCollection 属性,写入的窗口数据。
    • #put(id, data) 方法,向 lockedDataCollection 属性,写入 Data 。
    • #get(id) 方法,向 lockedDataCollection 属性,根据 ID 获得 Data 。
    • #containsKey(id) 方法,向 lockedDataCollection 属性,根据 ID 判断 Data 是否存在 。
  • #finishWriting() 方法,完成写入。即,标记 lockedDataCollection 不在正在写入中。

3. AggregationWorker

org.skywalking.apm.collector.stream.worker.impl.AggregationWorker ,实现 AbstractLocalAsyncWorker 抽象类,异步聚合 Worker,负责聚合处理数据,后提交 Data 到 Next 节点们处理。

构造方法 ,代码如下:

  • dataCache 属性,数据缓存。
  • messageNum 属性,消息计数。当超过一定数量( 目前是 100 ),重置计数归零。

#onWork(message) 实现方法,聚合处理数据,当满足条件时,提交 Data 到 Next 节点们处理。

  • 第 53 行:messageNum 计数增加。
  • 第 56 行:调用 #aggregate(message) 方法,聚合消息到数据。
  • 第 59 至 62 行:messageNum >= 100 时,调用 #sendToNext() ,提交缓存数据的读 Collection 的数据给 Next 节点们继续处理。
  • 第 65 至 67 行:messageNum.endOfBatch == true 时,当消息是批处理的最后一条时,调用 #sendToNext() ,提交缓存数据的读 Collection 的数据给 Next 节点们继续处理。

#sendToNext() 方法,提交缓存数据的读 Collection 的数据给 Next 节点们继续处理。

  • 第 72 行:直接调用 Window#switchPointer() 方法,切换数据指针,并标记原指向正在读取中。这里并未先调用 Window#trySwitchPointer() 方法,是否会有并发问题?目前这里是异步单线程,所以不会有问题,参见 《SkyWalking 源码分析 —— Collector Queue 队列组件》 。另外,在 「4. PersistenceWorker」 会看到并发的情况处理。
  • 第 74 至 80 行:等待原指向不在读取中。
  • 第 82 至 85 行:提交数据给 Next 节点们继续处理。
  • 第 87 行:标记原指向完成读取。

4. PersistenceWorker

org.skywalking.apm.collector.stream.worker.impl.PersistenceWorker ,实现 AbstractLocalAsyncWorker 抽象类,异步批量存储 Worker,负责聚合处理数据,后存储 Data 。

考虑到需要保证存储的时效性,PersistenceWorker 使用 PersistenceTimer ,定时存储 Data ,在 「4.2 PersistenceWorker」 详细解析。


构造方法 ,代码如下:


#needMergeDBData() 抽象方法,存储时,是否需要合并数据。一些 Data 只有新增操作,没有更新操作。

#persistenceDAO() 抽象方法,获得 Data 对应的持久化 DAO 接口的实现类对象。

上述两个抽象方法,用于 #prepareBatch(dataMap) 方法,生成批量操作对象数组,最终调用 IBatchDAO#batchPersistence(List) 方法,通过执行批量操作对象数组,实现批量持久化数据,在 《SkyWalking 源码分析 —— Collector Storage 存储组件》 有详细解析。


#onWork(message) 实现方法,当满足条件时存储 Data ,而后聚合数据。这点和 AggregationWorker 相反的,因为要考虑并发问题。代码如下:

  • 第 72 行:调用 DataCache#currentCollectionSize() 方法,获得当前写入 Collection 的数据数量,判断是否超过 5000 。
    • 第 75 行:调用 DataCache#trySwitchPointer() 方法,判断是否可以切换 Collection 。通过该判断,保证和 PersistenceTimer 一起时,不会出现并发问题。
    • 第 77 行:调用 Window#switchPointer() 方法,切换数据指针,并标记原指向正在读取中。
    • 第 80 行:调用 #buildBatchCollection() 方法,创建批量操作对象数组。该方法和 AggregationWorker#sendToNext() 方法基本类似。
    • 第 83 行:调用 IBatchDAO#batchPersistence(List) 方法,通过执行批量操作对象数组,实现批量持久化数据。
    • 第 86 行:调用 DataCache#trySwitchPointerFinally() 方法,释放 DataCache.windowSwitch 的计数。
  • 第 91 行:调用 #aggregate(message) 方法,聚合数据。该方法和 AggregationWorker#aggregate(message) 方法基本相似。

4.1 WorkerCreateListener

org.skywalking.apm.collector.stream.worker.base.WorkerCreateListener ,Worker 创建监听器。

Worker 在创建时,会调用 WorkerCreateListener#addWorker 方法,记录所有的 PersistenceWorker 对象。

记录下来有什么用呢?在 AgentStreamBootStartup 启动时,创建 PersistenceTimer 对象,并将 WorkerCreateListener 记录的 PersistenceWorker 对象集合传递给 PersistenceTimer 对象。这样,PersistenceTimer 能够”访问“到 PersistenceWorker 对象们的 DataCache ,定时存储数据。

4.2 PersistenceTimer

org.skywalking.apm.collector.stream.timer.PersistenceTimer ,持久化定时任务,负责定时、批量存储 PersistenceWorker 缓存的数据。

#start(IBatchDAO, List) 方法,创建延迟 1 秒,每 1 秒执行一次 #extractDataAndSave() 方法的定时任务,用于定时、批量存储 PersistenceWorker 缓存的数据。

#extractDataAndSave(IBatchDAO, List) 方法,代码如下:

  • 第 55 至 68 行:获得所有 PersistenceWorker 读 Collection 缓存的数据。

    • 第 60 行:调用 PersistenceWorker#flushAndSwitch() 切换数据指针,即切换读写 Collection 。
    • 第 62 行:调用 PersistenceWorker#buildBatchCollection() 方法,创建批量操作对象数组。
    • 怎么保证并发安全?通过 Window#trySwitchPointer() 方法,保证读 Collection 正在被读取中时,PersistenceWorker 和 PersistenceTimer 有且仅有一个切换队列,读取数据。当读取完成后,调用 Window#finishReadingLast() 方法,清空原数据指向,并标记原数据指向完成正在读取中。
  • 第 71 行:调用 IBatchDAO#batchPersistence(List) 方法,执行批量操作,进行存储。

666. 彩蛋

知识星球

呼呼,终于把流式处理给写完了,如果写的不详细或者不合适的,胖友看到麻烦告知笔者,谢谢。

胖友,分享一波朋友圈可好。


������关注微信公众号:【芋道源码】有福利:
1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。
5. 认真的源码交流微信群。

中图法第五版SQL,支持树形结构可直接导入使用 基于第五版中图法官方数据收集整理,效果图如下: 阅读详情

相关推荐

液态神经网络系列(四) | 一条 PyTorch 从零搭建 LTC 细胞

本文详细介绍了如何从零开始用PyTorch实现Liquid Time-constant Networks(LTC)神经元模型。首先将LTC的核心微分方程拆解为输入电导、系统时间常数和数值积分器三个模块,然后逐步构建LTCCell类,包括物理参数初始化、突触参数设置和前向演化过程。文章还展示了如何封装LTCModel处理不规则时间序列,并通过正弦波抗干扰实验验证了LTC模型的优越性。最后讨论了数值稳定性、计算代价等实现细节,并预告了下一篇将探讨使用伴随灵敏度算法优化显存占用的方法。

wyj333333的博客 2071

监控三套件EFK + Prometheus + SkyWalking, 经不经典我不管, 我就喜欢这一款

EFK主要用于分布式应用程序的日志管理和分析,Prometheus主要用于采集和存储系统或应用程序的指标数据,SkyWalking主要用于监测和追踪分布式应用程序的请求链路。因此,在实际应用中,可以根据具体的应用场景和需求来选择合适的监测系统或组合使用多种监测系统,以便全面监测和优化系统或应用程序的性能

洪晓鸿 7612

Obsidian+llama3:终于搭建了自己的知识库

Obsidian 的 Smart Connections,超出了我原本的预期,于是结合新模型非常方便地搭建了我的个人知识库。

谢彦的技术博客 3713

prometheus与skywalking在私有化交付项目中的应用

一次基于prometheus+私有化交付的实验。

yuhouwucaihong的博客 1万+

稳压电源的隐形战场:动态特性如何影响你的嵌入式系统稳定性

本文深入探讨了稳压电源动态特性对嵌入式系统稳定性的关键影响,分析了HT7533和AMS1117等稳压芯片在输入阶跃响应和负载瞬态响应方面的性能差异。通过实测案例展示了不同场景下的动态特性表现,并提供了针对工业控制、IoT设备和射频系统的选型指南与优化策略,帮助工程师解决电源相关的隐蔽故障。

weixin_29204205的博客 609

AWD线下攻防赛总结

在本地组策略编辑器里面,依次展开计算机配置—>管理模板—>Windows组件—>远程桌面服务—>远程桌面会话主机—>连接—>限制连接的数量。8.Web目录环境查找相关可疑文件:jpg/png/rar,属性、解压。进程线程:netstat / ps -aux/netstat -apt。4.查看/etc/init.d/rc.local中启动服务有无异常。1.不使用默认口令,修改成复杂的,并确保和web环境连接。5.使用脚本开启进程监控、目录监控、流量监控。文件操作监控.exe/御剑文件监控.exe。

XuJL89的博客 631

调用链选型之Zipkin,Pinpoint,SkyWalking,CAT

简介 Zipkin是Twitter开源的调用链分析工具,目前基于springcloud sleuth得到了广泛的使用,特点是轻量,使用部署简单。 Pinpoint是韩国人开源的基于字节码注入的调用链分析,以及应用监控分析工具。特点是支持多种插件,UI功能强大,接入端无代码侵入。 SkyWalking是本土开源的基于字节码注入的调用链分析,以及应用监控分析工具。特点是支持多种插件,UI功能较强,接入端无代码侵入。目前已加入Apache孵化器。 CAT是大众点评开源的基于编码和配置的调用链

在每次的突破中遇见更好的自己 1388

别再为格式发愁:safetensors转GGUF的三种高效方法及Ollama集成对比

本文详细介绍了将safetensors格式转换为GGUF格式的三种高效方法,包括llama.cpp原生转换、GGUF官方工具链和Transformers中转方案,并对比了它们在Ollama集成中的表现。文章还提供了实际项目中的踩坑经验和性能调优建议,帮助开发者快速掌握模型转换技术。

weixin_42651281的博客 641

cat全链路监控_监控系统比较 Skywalking Pinpoint Cat zipkin

基本信息 1.CAT是一个更综合性的平台,提供的监控功能最全面,国内几个大厂生产也都在使用。但研发进度及版本更新相对较慢。 2.Zipkin由Twitter开源,调用链分析工具,基于spring-cloud-sleuth得到广泛使用,非常轻量,使用部署简单。 3.Skywalking专注于链路和性能监控,国产开源,埋点无侵入,UI功能较强。能够加入Apache孵化器,设计思想及代码得到一...

Code changes the world! 1329

3D医学影像开发入门<一>:VS2019+DCMTK3.6.8编译及环境配置

3D医学影像开发入门:VS2019+DCMTK3.6.8编译及环境配置

欧特GO 1309

通信原理 | 通俗理解 | 因子图、消息传递以及它们之间的关系

在算法迭代过程中,通过反复更新这些消息,直到收敛,最终可以得到每个变量的边缘概率分布或最有可能的整体状态。算法通过因子图中的节点反复交换消息,直到找到最优解或所有消息稳定下来,从而解决了比如聚会日期这样的优化问题。在实际应用中,这种方法可以用来解决更复杂的问题,比如图像识别、语音识别和机器学习中的其他问题。,特别是在处理概率模型和执行概率推断时,因子图提供了一个强大的工具。(比如朋友的空闲时间和地点的可用性),并且你希望尽可能让所有人满意。在真正的因子图和消息传递算法中,这个过程被数学化和形式化。

若北辰 1207

prometheus\skywalking\splunk功能的区别

prometheus\skywalking\splunk功能的区别

dailittledragon的博客 1900

Python 3.13.7 (64-bit)安装弹窗提示:Setup failed:0x80070643 - 安装时发生严重错误...如何解决?

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 2121

【SkyWalking+Prometheus】

分布式系统 APM(应用性能监控)工具。:时序数据库与监控告警系统。

qq_52959191的博客 1525

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Prometheus

Prometheus入门一、什么是TSDB?TSDB(Time Series Database)时序列数据库,我们可以简单的理解为一个优化后用来处理时间序列数据的软件,并且数据中的数组是由时间进行索引的。1、时间序列数据库的特点大部分时间都是写入操作。写入操作几乎是顺序添加,大多数时候数据到达后都以时间排序。写操作很少写入很久之前的数据,也很少更新数据。大多数情况在数据被采集...

weixin_34018169的博客 817

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

用了3年CAT,这次我想选择SkyWalking,老板反手就是一个赞!

SkyWalking 是一个应用性能监控系统,特别为微服务、云原生和基于容器(Docker, Kubernetes, Mesos)体系结构而设计。除了应用指标监控以外,它还能对分布式调用链路进行追踪。类似功能的组件还有:Zipkin、、CAT等。上几张图,看看效果,然后再一步一步搭建并使用。

程序员高级码农的博客 1576

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

第08讲:搭建 SkyWalking 源码环境,开启征途

SkyWalking 的公共组件和工具类。oap-server/server-configuration/grpc-configuration-sync/target/generated-sources/protobuf 路径下的 grpc-java 目录和 java 目录。oap-server/server-receiver-plugin/receiver-proto/target/generated-sources/protobuf 路径下的 grpc-java 目录和 java 目录。

Marion的博客 1570

应用埋点skywalking与prometheus

skywalking埋点是push方式 prometheus埋点是server pull方式 prometheus

weixin_42002747的博客 4808

【后端-SkyWalking】SkyWalking前后端开发环境搭建详细教程步骤-6.x/7.x/8.x版本通用-插件二次开发利器(一)

SkyWalking前后端开发环境搭建详细步骤,方便进行二次开发,适用于6.x/7.x/8.x的通用搭建工程方案,介绍skywalking原理设计,使用码云Gitee解决国内访问慢问题,做到最快搭建,最快上手!

Ric的博客 5491

全链路追踪:SkyWalking与Prometheus的指标联动

全链路追踪中,SkyWalking擅长分布式链路追踪与APM(应用性能监控),而Prometheus专注于指标采集与告警。两者联动可实现更全面的监控体系:SkyWalking提供细粒度链路数据,Prometheus聚合关键指标并触发告警。

prince_xyz的博客 910

安装部署skywalking8.2

部署skywalking8.2版本适配es7.8版本详细教程,部署简单便捷。

W1124824402的博客 2769

SpringCloud使用SkyWalking实现分布式链路追踪2以及Prometheus全方位监控告警系统

在cloud-provider-skywalking-payment8001项目的POM文件中,添加如下数据库依赖-- 数据库驱动 -- >

weixin_49076273的博客 3081

Prometheus应用监控

监控

xhpscdx的专栏 2252

常用调用链等监控对比

1 pinpoint分布式性能监控工具Pinpoint是一款全链路分析工具,提供了无侵入式的调用链监控、方法执行详情查看、应用状态信息监控等功能。基于GoogleDapper论文进行的实现,与另一款开源的全链路分析工具Zipkin类似,但相比Zipkin提供了无侵入式、代码维度的监控等更多的特性。对整个系统中应用的调用关系进行了可视化的展示,单击某个服务节点,可以显示该节点的详细信息,比如当前节点状态、请求数量等监控应用内活跃线程的执行情况,对应用的线程执行性能可以有比较直观的了解。

我思故我在 3516

ELK、EFK、Prometheus、SkyWalking、K8s的排列组合

EFK + K8s Prometheus+ K8s SkyWalking + K8s 这3个监控组合都非常不错,那在实际生产过程中,对一家中等规模的微服务业务应用,该如何选型呢? 如果企业采用spring + k8s技术栈,EFK + Prometheus + SkyWalking就是我推荐的监控三套件,这三个分别是日志、metrics和调用链监控的利器,社区生态好。 而CAT主要为物理机/虚拟机场景研发,容器环境应该也支持,但是文档资料较少。总体CAT是一个不错的产品,但是相对门槛较高,社区和文档不足.

JavaEdge全是干货的技术号 1万+

CentOS 7下安装tomcat8.0(并设置开机自启动)

一、安装tomcat 1、到官网下载tomcat http://tomcat.apache.org/download-80.cgi 2、用rz -be 或者ftp工具将tar包上传到目标服务器 3、解压到当前目录: tar -xzvf apache-tomcat-8.5.8.tar.gz 4、将解压后的目录copy到工作目录 cp apache-tomcat-8.5.8 /opt 5、在/o...

qq_39380155的博客 814
上一篇: 【追光者系列】HikariCP 连接池配多大合适(第一弹)?
下一篇: 注册中心 Eureka 源码解析 —— 应用实例注册发现(六)之全量获取
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值