链路追踪 SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)

Skywalking 链路追踪 Skywalking 链路追踪 Skywalking 根据官方的解释,Skywalking是一个可观测性平台(Observability Analysis Platform简称 OAP)和应用性能管理系统(Application Performance Management 简称 APM)。提供分布式链路追踪、服务网格(Service Mesh)遥测分析、度量(Metric)聚合和可视化一体化解决方案。 一、APM 系统概述 APM(Application Performance Monitoring 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-streaming-second/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版

  • 1. 概述

  • 2. Data

    • 2.1 Collection

    • 2.2 DataCollection

    • 2.3 Window

    • 2.4 DataCache

  • 3. AggregationWorker

  • 4. PersistenceWorker

    • 4.1 WorkerCreateListener

    • 4.2 PersistenceTimer

  • 666. 彩蛋


1. 概述

本文接 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》 ,主要分享 Collector Streaming 流式处理的第二部分。主要包含如下部分:

  • AggregationWorker :聚合处理数据,后提交 Data 到 Next 节点们处理。

  • PersistenceWorker :聚合处理数据,后存储 Data 。

2. Data

AggregationWorker 和 PersistenceWorker ,都先聚合处理数据,在进行各自的后续处理。那么聚合处理的数据结果,需要有容器进行缓存暂存:

  • org.skywalking.apm.collector.core.cache :接口

  • org.skywalking.apm.collector.stream.worker.impl.data :实现

类图如下:

  • Collection :数据采集,提供有读、写两个状态的数据容器。

  • Window :窗口( ????这个解释怪怪的 ),内有两个 Collection。

    • 一个 Collection ,负责写入数据数据

    • 一个 Collection ,负责读出处理数据

    • 当写的 Collection 符合处理的条件,读写 Collection 切换

2.1 Collection

org.skywalking.apm.collector.core.cache.Collection ,数据采集接口。

  • 数据相关 :#collection() / #size() / #clear()

  • 读相关 :#reading() / #isReading() / #finishReading()

  • 写相关 :#writing() / #isWriting() / #finishWriting()

2.2 DataCollection

org.skywalking.apm.collector.stream.worker.impl.data.DataCollection ,实现 Collection 接口,数据采集实现类,使用 Map<String, Data> 作为数据容器。

2.3 Window

org.skywalking.apm.collector.core.cache.Window ,窗口抽象类。

构造方法 ,代码如下:

  • windowDataA 属性,窗口数据A 。

  • windowDataB 属性,窗口数据B 。

  • 通过 #collectionInstance() 抽象方法,创建窗口数据( Collection )对象。

  • pointer 属性,数据指向 windowDataA 或 windowDataA。

    • #getCurrent() 方法,获得现数据指向,即 pointer 。

    • #getLast() 方法,获得原数据指向,即非 pointer 。

  • windowSwitch 属性,窗口切换计数。


切换 Collection 相关,方法如下:

  • #trySwitchPointer() 方法,返回是否可以切换 Collection 。可以切换需要满足如下条件:

    • 只有一个调用方申请切换,通过 windowSwitch 属性进行计数。

    • 原数据指向不处于正在读取状态。如果切换,一边读一边写,可能会有并发问题。

    • 无论是否可以切换 Collection ,需要调用 #trySwitchPointerFinally() 方法,释放 windowSwitch 的计数。

  • #switchPointer() 方法,切换数据指向,并标记原数据指向的 Collection 正在读取中。

  • #finishReadingLast() 方法,清空原数据指向的 Collection 数据,并标记原数据指向的 Collection 完成读取( 不在正在读取中 )。


写 Collection 相关,方法如下:

  • #getCurrentAndWriting() 方法,获得现数据指向,并标记正在写入中。通过正在写入标记,切换 Collection 完成后,可以判断该 Collection 正在写入中,若是,等待不在写入中,开始数据读取并处理。

2.4 DataCache

org.skywalking.apm.collector.stream.worker.impl.data.DataCache ,实现 Window 抽象类,数据缓存。

  • #collectionInstance() 实现方法,创建 DataCollection 对象。

  • #currentCollectionSize() 方法,获得当前数据指向( 写入 Collection )的数据数量。


写 Collection 相关,方法如下:

  • #writing() 方法,调用 #getCurrentAndWriting() 方法,开始写入。即,获得现数据指向,并标记正在写入中。

    • lockedDataCollection 属性,写入的窗口数据。

    • #put(id, data) 方法,向 lockedDataCollection 属性,写入 Data 。

    • #get(id) 方法,向 lockedDataCollection 属性,根据 ID 获得 Data 。

    • #containsKey(id) 方法,向 lockedDataCollection 属性,根据 ID 判断 Data 是否存在 。

  • #finishWriting() 方法,完成写入。即,标记 lockedDataCollection 不在正在写入中。

3. AggregationWorker

org.skywalking.apm.collector.stream.worker.impl.AggregationWorker ,实现 AbstractLocalAsyncWorker 抽象类,异步聚合 Worker,负责聚合处理数据,后提交 Data 到 Next 节点们处理。

构造方法 ,代码如下:

  • dataCache 属性,数据缓存。

  • messageNum 属性,消息计数。当超过一定数量( 目前是 100 ),重置计数归零。


#onWork(message) 实现方法,聚合处理数据,当满足条件时,提交 Data 到 Next 节点们处理。

  • 第 53 行:messageNum 计数增加。

  • 第 56 行:调用 #aggregate(message) 方法,聚合消息到数据。

  • 第 59 至 62 行:messageNum >= 100 时,调用 #sendToNext() ,提交缓存数据的读 Collection 的数据给 Next 节点们继续处理。

  • 第 65 至 67 行:messageNum.endOfBatch == true 时,当消息是批处理的最后一条时,调用 #sendToNext() ,提交缓存数据的读 Collection 的数据给 Next 节点们继续处理。


#sendToNext() 方法,提交缓存数据的读 Collection 的数据给 Next 节点们继续处理。

  • 第 72 行:直接调用 Window#switchPointer() 方法,切换数据指针,并标记原指向正在读取中。这里并未先调用 Window#trySwitchPointer() 方法,是否会有并发问题?目前这里是异步单线程,所以不会有问题,参见 《SkyWalking 源码分析 —— Collector Queue 队列组件》 。另外,在 「4. PersistenceWorker」 会看到并发的情况处理。

  • 第 74 至 80 行:等待原指向不在读取中。

  • 第 82 至 85 行:提交数据给 Next 节点们继续处理。

  • 第 87 行:标记原指向完成读取。

4. PersistenceWorker

org.skywalking.apm.collector.stream.worker.impl.PersistenceWorker ,实现 AbstractLocalAsyncWorker 抽象类,异步批量存储 Worker,负责聚合处理数据,后存储 Data 。

考虑到需要保证存储的时效性,PersistenceWorker 使用 PersistenceTimer ,定时存储 Data ,在 「4.2 PersistenceWorker」 详细解析。


构造方法 ,代码如下:

  • dataCache 属性,数据缓存。

  • batchDAO 属性,批量操作 DAO ,在 《SkyWalking 源码分析 —— Collector Storage 存储组件》 有详细解析。


#needMergeDBData() 抽象方法,存储时,是否需要合并数据。一些 Data 只有新增操作,没有更新操作。

#persistenceDAO() 抽象方法,获得 Data 对应的持久化 DAO 接口的实现类对象。

上述两个抽象方法,用于 #prepareBatch(dataMap) 方法,生成批量操作对象数组,最终调用 IBatchDAO#batchPersistence(List<?>) 方法,通过执行批量操作对象数组,实现批量持久化数据,在 《SkyWalking 源码分析 —— Collector Storage 存储组件》 有详细解析。


#onWork(message) 实现方法,当满足条件时存储 Data ,而后聚合数据。这点和 AggregationWorker 相反的,因为要考虑并发问题。代码如下:

  • 第 72 行:调用 DataCache#currentCollectionSize() 方法,获得当前写入 Collection 的数据数量,判断是否超过 5000 。

    • 第 75 行:调用 DataCache#trySwitchPointer() 方法,判断是否可以切换 Collection 。通过该判断,保证和 PersistenceTimer 一起时,不会出现并发问题。

    • 第 77 行:调用 Window#switchPointer() 方法,切换数据指针,并标记原指向正在读取中。

    • 第 80 行:调用 #buildBatchCollection() 方法,创建批量操作对象数组。该方法和 AggregationWorker#sendToNext() 方法基本类似。

    • 第 83 行:调用 IBatchDAO#batchPersistence(List<?>) 方法,通过执行批量操作对象数组,实现批量持久化数据。

    • 第 86 行:调用 DataCache#trySwitchPointerFinally() 方法,释放 DataCache.windowSwitch 的计数。

  • 第 91 行:调用 #aggregate(message) 方法,聚合数据。该方法和 AggregationWorker#aggregate(message) 方法基本相似。

4.1 WorkerCreateListener

org.skywalking.apm.collector.stream.worker.base.WorkerCreateListener ,Worker 创建监听器。

Worker 在创建时,会调用 WorkerCreateListener#addWorker 方法,记录所有的 PersistenceWorker 对象。

记录下来有什么用呢?在 AgentStreamBootStartup 启动时,创建 PersistenceTimer 对象,并将 WorkerCreateListener 记录的 PersistenceWorker 对象集合传递给 PersistenceTimer 对象。这样,PersistenceTimer 能够"访问"到 PersistenceWorker 对象们的 DataCache ,定时存储数据。

4.2 PersistenceTimer

org.skywalking.apm.collector.stream.timer.PersistenceTimer ,持久化定时任务,负责定时、批量存储 PersistenceWorker 缓存的数据。

#start(IBatchDAO, List<PersistenceWorker>) 方法,创建延迟 1 秒,每 1 秒执行一次 #extractDataAndSave() 方法的定时任务,用于定时、批量存储 PersistenceWorker 缓存的数据。

#extractDataAndSave(IBatchDAO, List<PersistenceWorker>) 方法,代码如下:

  • 第 55 至 68 行:获得所有 PersistenceWorker 读 Collection 缓存的数据。

    • 第 60 行:调用 PersistenceWorker#flushAndSwitch() 切换数据指针,即切换读写 Collection 。

    • 第 62 行:调用 PersistenceWorker#buildBatchCollection() 方法,创建批量操作对象数组。

    • 怎么保证并发安全?通过 Window#trySwitchPointer() 方法,保证读 Collection 正在被读取中时,PersistenceWorker 和 PersistenceTimer 有且仅有一个切换队列,读取数据。当读取完成后,调用 Window#finishReadingLast() 方法,清空原数据指向,并标记原数据指向完成正在读取中。

  • 第 71 行:调用 IBatchDAO#batchPersistence(List<?>) 方法,执行批量操作,进行存储。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

8、SkyWalking常见问题及解决方案 SkyWalking常见问题汇及解决方案 文件状态: [ ] 草稿 [√] 正在修改 当前版本 1.0 历史修订版本 1.0; 作 者 杜有龙 完成日期 2019-01-23 1、异常no such index 1.1问题描述 1.1.1web程序 1.1.2... 阅读详情

相关推荐

分布式系统全链路监控方案设计

分布式系统全链路监控方案设计       在分布式系统中,全链路监控系统,跟踪requestid经过了哪些server,方便定位log的位置,能在一定程度上缓解维护压力。

chenglinhust的专栏 1万+

SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)

1. 概述 本文主要分享Collector Streaming 流式处理。主要包含如下部分: apm-collector-core模块的graph包,提供最精简、单节点的流式处理的封装。如下图所示: apm-collector-stream模块,在graph包的基础上,提供异步、跨节点等等的流式处理的封装。如下图所示: 免打脸大保健:笔者对流式处理非常不了解,本文可能是一本正经的胡说八道。考虑到笔者是靠脸吃饭(颜值我只服我红雷哥),所以读者老爷请爱护下笔者。...

weixin_42073629的博客 359

CCS TMSC6748 报错Error connecting to the target: (Error -600 @ 0x0)

CCS TMSC6748 报错Error connecting to the target:(Error -600@ 0x0)

AS_the_deer1717的博客 6637

链路追踪 SkyWalking 源码分析 —— Collector Storage 存储组件

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析...

芋道源码 1036

用于可靠的钙钛矿薄膜瞬时光致发光模拟的拟合程序

简介 对光激发后的电荷载流子动态的研究对于确定太阳能电池的几个特性至关重要,例如,体和界面重组的数量以及向电荷传输层转移过程的速度。 瞬态光致发光(trPL)是用于研究这些特性的最流行的表征方法之一。 该实验是通过在样品上照射几纳秒的激光脉冲,并记录一段时间内的发光情况来进行的。辐射性重组的光生电荷载流子将引起太阳能电池的光子发射,而非辐射性重组的电荷载流子将不会对发光作出贡献。因此,可以测量到强度随时间递减的光致发光瞬态。(见图1表示trPL的测量和它的输出)。 图1. 一...

FluximAG的博客 2364

零基础搭建本地AI绘画环境:Stable Diffusion 3.5保姆级安装教程(含中文优化方案)

本文提供零基础搭建本地AI绘画环境的详细教程,重点介绍Stable Diffusion 3.5的安装与中文优化方案。从硬件配置检查到软件依赖安装,再到核心组件配置与中文语义增强,教程涵盖全流程操作指南,帮助用户快速掌握AI文生图模型的本地部署技巧,提升创作效率。

weixin_30752699的博客 316

SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)

1. 概述 本文接《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》,主要分享Collector Streaming 流式处理的第二部分。主要包含如下部分: AggregationWorker :聚合处理数据,后提交 Data 到 Next 节点们处理。 PersistenceWorker :聚合处理数据,后存储 Data 。 2. Data AggregationWorker 和 PersistenceWorker ,都先...

weixin_42073629的博客 335

线性回归LinearRegression

对视频中线性回归算法的相关内容进行总结与记录 文章目录一、理论基础二、实例2.1 一元线性回归2.1.1 推导过程2.1.2 代码实现(基于numpy)2.1.3 代码实现(基于sklearn)2.2 多元线性回归2.2.1 代码实现(基于numpy)2.2.2 代码实现(基于sklearn) 一、理论基础 回归 通常是指利用某个函数,尽可能把数据样本点“串”在一起,用于描述输入变量和输出变量间的变化关系 线性回归 特点:用来把数据“串”起来的那个函数是线性的 (一元线性回归(一个自变量) &a.

邱邱邱的博客 1069

OAP处理GRPC消息

OAP处理GRPC消息 启动时SPI注入的模块TraceModuleProvider,start方法中注入了两种协议的处理器(grpc和rest): @Override public void start() { GRPCHandlerRegister grpcHandlerRegister = getManager().find(SharingServerModule.NAME) .

vinylon的博客 720

解决Qt平台插件初始化失败:This application failed to start because no Qt platform plugin could be initialized

本文深入解析了Qt应用程序启动时常见的‘platform plugin’初始化失败报错,指出其核心在于环境变量冲突或多版本Qt共存导致的插件路径混乱。文章提供了从环境变量检查、路径调整到文件补全的完整解决方案,并给出了使用windeployqt工具等预防性开发实践,帮助用户和开发者彻底解决这一经典问题。

weixin_29229261的博客 2221

密码学系列3-Elgamal加密及其IND-CPA安全性证明

但这没有任何影响,敌手本身就只能知道公钥,他并没有能力知道挑战者是否知道对应的私钥。所以上述整个游戏就是一个模拟实验,敌手无法区分挑战者运行的是这个模拟实验,还是真正的按照第一节的算法构造的实验(挑战者知道私钥…为什么合起来的时候有1/2:因为T既可能是随机的也可能是g^{ab},这两种情况概率为1/2。能够攻破Elgamal加密方案,那么挑战者利用敌手的能力构建下面游戏,来求解困难性问题DDH。就是挑战者选的随机数,虽然挑战者自己也不知道。),否则挑战者输出0,作为DDH的回答。

qq_41359358的博客 1253

链路追踪 SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析...

芋道源码 551

论文必备 - YOLOv8训练前一键扩充数据集,支持9种扩充方法,支持图像和标签同步扩充

在网络模型训练前,大量的数据集是必备的。而对于一些特殊场景中的特殊目标,大量的数据集往往难以获取,无法满足模型训练的基本需求。本文提供了,脚本可一键运行,。

Limiiiing的博客 771

skywalking使用方法_链路追踪 SkyWalking 源码分析 —— Collector Queue 队列组件

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-queue-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. collector-queue-define3. collector-queue-disruptor-provider4. collector-queue-da...

weixin_39543773的博客 221

Android 12.0 kenel中修改rom系统内部存储的大小

在12.0的系统rom产品开发定制中,在对一些产品开发中的配置需求方面,由于在产品后续订单中,有些产品是出口的,但是硬件方面已经定板,时间比较仓促,所以 就需要软件方面在rom内部存储的大小方面作假,修改rom真实的大小容量,所以就需要在kenel驱动部分来修改这部分的值最好了,接下来分析下计算rom容量的 相关代码,然后做出相关的修改,来实现功能

安卓兼职framework和app工程师的博客 1678

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Skywalking告警模块-源码解读

1:告警规则定义 告警的核心是由’ alarm-setting.yml’文件中配置的一组规则驱动的。告警规则(Rules)的定义分为两部分 1.1:rules 定义了触发告警的度量和条件,该部分映射为AlarmRule类。 [Rule name]:规则名称,唯一标识,需以“_rule”结尾 Metrics-name:指标名称,oal脚本中度量名称,必须在oal脚本中定义过 include-names:适用该规则的实体名称,可配置系统名称、服务名称。不配置默认所有实体均适用 Thresho...

qq_44838446的博客 1728

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

分布式追踪 & APM 系统 SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-streaming-second/ 「芋道源码」欢迎转载,保留摘要,谢谢! 本文主要基于 SkyWalking 3.2.6 正式版 1. 概述 2. Data 2.1 Collection 2.2 DataCollection 2.3 Window 2.4 DataCache 3. Ag...

芋艿V 1413

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

skywalking源码分析第七篇一StorageModule存储模块启动

文章目录数据模型存储层架构设计注册数据锁原理图源码分析一StorageModuleElasticsearchProvider索引创建@stream注解处理源码分析 存储实现本文默认elasticsearch 数据模型 StorageData代表一条数据 每一条数据都会被存储到elasticsearch 数据类上如果标注@Stream注解,则会被构建成Model对象[第五篇annotationScan已经介绍] StorageModuleProvider启动时会基于Model向es创建索引 存储层架

小麒麟的博客 2383

Skywalking-09:OAL原理——如何通过动态生成的Class类保存数据

OAL 如何通过动态生成的 Class 类,保存数据 前置工作 OAL 如何将动态生成的 SourceDispatcher 添加到 DispatcherManager // org.apache.skywalking.oap.server.core.oal.rt.OALEngineLoaderService#load public void load(OALDefine define) throws ModuleStartException { if (oalD

Switch的博客 938

使用Skywalking实现全链路监控

https://opentalk.upyun.com/334.html 2017 年 10 月 29 日,又拍云 Open Talk 联合 Spring Cloud 中国社区成功举办了“进击的微服务实战派北京站”。华为技术专家吴晟作了题为《使用 Skywalking 实现全链路监控》的分享,以下是分享实录: 一、分布式追踪 (一)三种场景 1、Metrics 指标性统计 比如说我们会...

weixin_33704591的博客 5883

这么多Apache顶级项目,SkyWalking为何一枝独秀?

吴晟读完需要5分钟速读仅需 2分钟吴晟Apache基金会会员,Apache SkyWalking创始人、项目VP和PMC成员,Apache孵化器PMC成员,Apache Shardin...

中生代技术 1300

Skywalking阻塞的一次调查记录

最近开始研究skywalking准备应用到系统中,在测试环境测试的时候遇到一个现象:在oapserver刚启动的时候,trace数据上传一切正常,大概几分钟之后就不再有SegmentTrace数据上传了。 ES 实例只有一台 分了8G内存 service实例数:30+ 观察oapserver日志, 在oapserver刚启动的时候报了下面这个错误,看代码之后猜测是因为elasticsearch还没...

weixin_45145848的博客 4760

SkyWalking6.2.0告警配置详解

服务部署可以参考官方文档,这里就不做过多讲解。 先了解一下告警通知的实体,大家可以先下载源码看看,其中主要的几个参数:scopeId-->告警类型id;name-->告警名称(接口、服务、实例等),alarmMessage-->告警内容。 其中,scopeid 可以参考源码种DefaultScopeDefine类,返回值是对应的数字,可以通过对应的数字来判断是那种告警,可...

xnn_fjj的博客 3090
上一篇: 如何用好 IDEA ,Java 撸码效率至少提升 5 倍?
下一篇: Spring Boot + Vue + Shiro 实现前后端分离、权限控制
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值