链路追踪 SkyWalking 源码分析 —— Collector 接收 Trace 数据

分布式追踪 SkyWalking 源码分析六 Collector 接收和发送 trace 数据 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 Collector 接收到 TraceSegment 数据后,进行构建。 【蓝色流程】构建成功,进行流式处理,最终存储到存储器... 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-receive-trace/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版

  • 1. 概述

  • 2. TraceSegmentServiceHandler

    • 2.1 TraceSegmentService

    • 2.2 SegmentParse

    • 2.3 Standardization 标准化

  • 3. Buffer 文件

    • 3.1 初始化

    • 3.2 写入

    • 3.3 读取

  • 666. 彩蛋


1. 概述

分布式链路追踪系统,链路的追踪大体流程如下:

  1. Agent 收集 Trace 数据。

  2. Agent 发送 Trace 数据给 Collector 。

  3. Collector 接收 Trace 数据。

  4. Collector 存储 Trace 数据到存储器,例如,数据库。

本文主要分享【第三部分】 SkyWalking Collector 接收 Trace 数据。

友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本文使用 TraceSegment 相关的原始类。

大体流程如下:

  • Collector 接收到 TraceSegment 数据后,进行构建。

  • 【蓝色流程】构建成功,进行流式处理,最终存储到存储器( 例如,ES / H2 )。

  • 【粉色流程】构建失败,写入 Buffer 文件进行暂存。

  • 【绿色流程】后台线程,定时读取 Buffer 文件,重新提交构建。

什么是构建?

从 TraceSegment 数据中,会构建出更多的数据维度,如下图所示:

构建的过程,本文只分享调用的过程,具体怎么生成新的数据,数据的流式处理与存储,在 《SkyWalking 源码解析 —— Collector 存储 Trace 数据》 详细解析。

为什么构建会失败?

在 TraceSegment 里的数据结构,例如操作名( operationName )和操作编号( operationId ) ,在 《SkyWalking 源码分析 —— Agent 收集 Trace 数据》 中我们可以看到,考虑到网络传输,优先使用 operationId ,若不存在( 例如操作还未注册,或者注册了 Agent 未同步到本地 ),则使用 operationName 。

但是,Collector 构建过程时,要求的是 operationId ,如果传递的是 operationName 时,需要将 operationName 转换成 operationId 。若此时 operationName 未注册时,则无法获取到 operationId ,导致构建失败。

那么有胖友可能有疑惑,在构建过程中,注册 operationName 呢?答案是不行, 在 《SkyWalking 源码分析 —— Agent DictionaryManager 字典管理》「2.2 操作的同步 API」 中,我们可以看到,operationName 的注册,是异步的过程。因而,即使构建的过程中,调用注册,也无法获得 operationId 。

涉及的逻辑点比较多,如果胖友理解不能,下面我们可以直接看代码。

2. TraceSegmentServiceHandler

我们先来看看 API 的定义,TraceSegmentService.proto ,如下图所示:

TraceSegmentServiceHandler#collect(Application, StreamObserver<ApplicationMapping>), 代码如下:

  • 第 51 行:调用 ITraceSegmentService#send(UpstreamSegment) 方法,处理一条 TraceSegment 。

2.1 TraceSegmentService

org.skywalking.apm.collector.agent.stream.service.trace.ITraceSegmentService ,继承 Service 接口,TraceSegment 服务接口。

  • 定义了 #send(UpstreamSegment) 接口方法,处理一条 TraceSegment 。

org.skywalking.apm.collector.agent.stream.worker.trace.ApplicationIDService ,实现 IApplicationIDService 接口,TraceSegment 服务实现类。

  • 实现了 #send(UpstreamSegment) 方法,代码如下:

    • 第 40 至 41 行:创建 SegmentParse 对象,后调用 SegmentParse#parse(UpstreamSegment, Source) 方法,解析并处理 TraceSegment 。

2.2 SegmentParse

org.skywalking.apm.collector.agent.stream.parser.SegmentParse ,Segment 解析器。属性如下:

  • spanListeners 属性,Span 监听器集合。通过不同的监听器,对 TraceSegment 进行构建,生成不同的数据。在 #SegmentParse(ModuleManager) 构造方法 ,会看到它的初始化。

  • segmentId 属性,TraceSegment 编号,即 TraceSegment.traceSegmentId 。

  • timeBucket 属性,第一个 Span 的开始时间。

#parse(UpstreamSegment, Source) 方法,解析并处理 TraceSegment 。在该方法里,我们会看到,本文开头提到的【构造】。整个构造的过程,实际分成两步:1)预构建;2)执行构建。代码如下:

  • 第 88 至 89 行:从 segment 参数中,解析出 :

    • traceIds ,关联的链路追踪全局编号。

    • segmentObject ,TraceSegmentObject 对象。

  • 第 91 行:创建 SegmentDecorator 对象。该对象的用途,在 「2.3 Standardization 标准化」 统一解析。

  • -------- 构建失败 --------

  • 第 94 行:调用 #preBuild(List<UniqueId>, SegmentDecorator) 方法,预构建。

  • 第 97 至 99 行:调用 #writeToBufferFile() 方法,将 TraceSegment 写入 Buffer 文件暂存。为什么会判断 source == Source.Agent 呢?#parse(UpstreamSegment, Source) 方法的调用,共有两个 Source :

    • 目前我们看到 TraceSegmentService 的调用使用的是 Source.Agent 。

    • 而后台线程,定时调用该方法重新构建使用的是 Source.Buffer ,如果不加盖判断,会预构建失败重复写入。

  • 第 100 行:返回 false ,表示构建失败。

  • -------- 构建成功 --------

  • 第 106 行:调用 #notifyListenerToBuild() 方法,通知 Span 监听器们,执行构建各自的数据。在 《SkyWalking 源码解析 —— Collector 存储 Trace 数据》 详细解析。

  • 第 109 行:调用 buildSegment(id, dataBinary) 方法,执行构建 TraceSegment 。

  • 第 110 行:返回 true ,表示构建成功。

  • 第 112 至 115 行:发生 InvalidProtocolBufferException 异常,返回 false ,表示构建失败。

2.2.1 预构建

#preBuild(List<UniqueId>, SegmentDecorator) 方法,前置构建,用于通过不同的监听器,对 TraceSegment 进行构建,生成不同的数据。在该过程中,会发生我们在文章头所说的,"为什么构建会失败"。代码如下:

  • 第 120 至 128 行:拼接生成 segmentId 。

  • 第 131 至 133 行:调用 #notifyGlobalsListener(...) 方法,使用 GlobalTraceSpanListener 处理链路追踪全局编号数组( TraceSegment.relatedGlobalTraces )。

  • 第 139 至 147 行:调用 #notifyRefsListener(...) 方法,使用 RefsListener 处理父 Segment 指向数组( TraceSegment.refs )。

    • 第 140 至 144 行:调用 ReferenceIdExchanger#exchange(ReferenceDecorator, applicationId) 方法,将 TraceSegmentRef 未生成编号的属性,进行兑换处理。若兑换失败,返回构造失败。在 「2.3 Standardization 标准化」 详细解析。

  • 第 149 至 172 行:处理 TraceSegment.spans 属性。

    • 第 150 至 154 行:将 Span 未生成编号的属性,进行兑换处理。若兑换失败,返回构造失败。在 「2.3 Standardization 标准化」 详细解析。

    • 第 157 至 160 行:调用 #notifyFirstListener(...) ,使用 FirstSpanListener 处理第一个 Span 。

    • 第 164 行:若是 ExitSpan ,调用 #notifyExitListener(...) ,使用 ExitSpanListener 处理。

    • 第 166 行:若是 EntrySpan ,调用 #notifyEntryListener(...) ,使用 EntrySpanListener 处理。

    • 第 168 行:若是 LocalSpan ,调用 #notifyLocalListener(...) ,使用 LocalSpanListener 处理。

  • 第 174 行:返回 true ,预构建成功。

2.2.2 写入 Buffer 文件

#writeToBufferFile(id, upstreamSegment) 方法,将 TraceSegment 写入 Buffer 文件。代码如下:

  • 第 193 行:创建 193 至 194 行:创建 org.skywalking.apm.collector.agent.stream.parser.standardization.SegmentStandardization 对象,并设置 TraceSegment 属性。

  • 第 195 行:获得 TraceStreamGraph.SEGMENT_STANDARDIZATION_GRAPH_ID 对象的 Graph 对象。在 TraceStreamGraph#createSegmentStandardizationGraph() 方法中,我们可以看到,该 Graph 对象只有一个 SegmentStandardizationWorker 。

  • 第 196 行:调用 Graph#start(INPUT) 方法,执行该 Graph 实现的流式处理,将 TraceSegment 写到 Buffer 文件。


org.skywalking.apm.collector.agent.stream.parser.standardization.SegmentStandardizationWorker ,继承 AbstractLocalAsyncWorker 抽象类,TraceSegment 标准化 Worker ,负责将接收到的 TraceSegment 异步写到 Buffer 文件。

  • Factory 内部类,实现 AbstractLocalAsyncWorkerProvider 抽象类,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》「3.2.2 AbstractLocalAsyncWorker」 有详细解析。

  • AbstractLocalAsyncWorker ,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》「3.2.2 AbstractLocalAsyncWorker」 有详细解析。

  • #id() 实现方法,返回 108 。

  • #onWork(SegmentStandardization) 实现方法,将接收到的 TraceSegment 异步写到 Buffer 文件。。代码如下:

    • 第 52 行:调用 SegmentBufferManager#writeBuffer(UpstreamSegment) 方法,将接收到的 TraceSegment 写到 Buffer 文件。在 「3. Buffer 文件」 详细解析。

  • Factory#workerInstance(ModuleManager) 方法,创建 SegmentStandardizationWorker 后,会调用 #startTimer(SegmentStandardizationWorker) 方法,创建定时任务。该定时任务调用 #flushAndSwitch() 方法,定时将 Buffer 文件 flush 。目前 SegmentBufferManager#flush() 是个空方法。为什么不这里不需要 flush 呢?因为 SegmentBufferManager#writeBuffer(UpstreamSegment) 已经进行 flush 。

2.3 Standardization 标准化

本小节涉及到的类如下图:

我们先来说说,什么叫 standardization 标准化?其实就是我们在文章开头说的"例如将 operationName 转换成 operationId"。

2.3.1 StandardBuilder

org.skywalking.apm.collector.agent.stream.parser.standardization.StandardBuilder ,标准化 Builder 接口。

  • 定义了 #toBuilder() 接口方法,转换成 Builder 。感觉这个接口方法怪怪的?不要捉急,等会看一个实现类就明白了。

StandardBuilder 有三个实现类:

  • SegmentDecorator ,TraceSegment 装饰者。

  • ReferenceDecorator ,ReferenceDecorator 装饰者。

  • SpanDecorator ,Span 装饰者。

怎么都是装饰者呢,而且恰好和一个数据结构对应?以 SpanDecorator 为例子,代码如下:

  • spanObject 属性,SpanObject ,Span 的 Protobuf 数据对象。

  • standardBuilder 属性,SpanObject 的 Builder 对象。

  • isOrigin 属性,是否是原始对象。

    • isOrigin = true ,使用 spanObject属性 。

    • isOrigin = false ,使用 standardBuilder 属性。

  • 在 Protobuf 里,数据修改值时,需要使用对应的 Builder 对象。通过使用装饰者设计模式,对使用者屏蔽细节,调用也更加方便。下面在来看看如下方法,是不是就更加明白了:

    • #setOperationNameId(value)

    • #getOperationName()

  • #toBuilder() 实现方法,创建 SpanObject 对应的 Builder ,并修改 isOrigin = false 。另外,会调用 standardBuilder 属性的 #toBuilder() 方法,目前在项目里,此处的 standardBuilder 属性为 SegmentDecorator 。

SegmentDecorator 、ReferenceDecorator 和 SpanDecorator 目的一致。

2.3.2 IdExchanger

org.skywalking.apm.collector.agent.stream.parser.standardization.IdExchanger ,编号兑换器接口。

  • 定义了 #exchange(standardBuilder, applicationId) 接口方法,兑换 standardBuilder 里的属性,并返回是否兑换成功。

IdExchanger 有三个实现类:

  • ReferenceIdExchanger :TraceSegmentRef 编号兑换器。

  • SpanIdExchanger :Span 编号兑换器。


ReferenceIdExchanger#exchange(standardBuilder, applicationId) 方法,代码如下:

  • 第 60 至 73 行:TraceSegmentRef.entryOperationId 为空,将 TraceSegmentRef.entryOperationName 进行兑换。

    • 第 61 行:调用 ServiceNameService#getOrCreate(applicationId, serviceName) 方法,根据应用编号和操作名获得或创建操作编号。

    • 第 62 至 67 行:获得不到,因为创建的过程是异步的。返回 false 。

    • 第 68 至 72 行:获得到,调用 ReferenceDecorator#toBuilder() 方法,创建 Builder ,然后设置操作编号。

  • 第 75 至 89 行:TraceSegmentRef.parentApplicationInstanceId 为空,将 TraceSegmentRef.parentOperationName 进行兑换。

  • 第 92 至 104 行:TraceSegmentRef.entryOperationName 为空,将 TraceSegmentRef.peerHost 进行兑换。在【第 93 行】,我们可以看到,调用 ApplicationIDService#getOrCreate(applicationCode) 方法,将服务地址作为 applicationCode 使用。

SpanIdExchanger#exchange(standardBuilder, applicationId) 方法,类似,已经添加代码注释,胖友自己阅读理解。

3. Buffer 文件

本小节涉及到的类如下图:

我们先来看看 Buffer 包括哪些文件:

yunai$ pwd
/Users/yunai/Java/buffer
yunai$ ls
data_20171205004132.sw		offset_20171205004132.sw
  • Data 文件,记录 TraceSegment 具体数据,通过 SegmentBufferManager 管理。

  • Offset 文件,记录偏移,包括写入文件的名字和偏移,读取文件的名字和偏移,通过 OffsetManager 管理。

  • 从命名上,我们可以看出,这两种文件,文件名字格式为 类型_${时间}.sw ,并且相同类型,同时可以存在多个。

org.skywalking.apm.collector.agent.stream.buffer.BufferFileConfig ,Buffer 文件配置 。

org.skywalking.apm.collector.agent.stream.buffer.Offset ,偏移 。

下面,我们来一起看看 Buffer 文件的初始化、写入、读取的三种操作过程。

3.1 初始化

SegmentBufferManager#initialize(ModuleManager) 方法,初始化 Offset 文件、Data 文件、定期读取 Buffer 文件的任务。代码如下:

  • 第 58 行:调用 OffsetManager#initialize() 方法,初始化 Offset 文件。

  • 第 60 至 63 行:创建 Buffer 文件夹成功( 意味着该文件夹不存在 ),调用 #newDataFile() ,创建 Data 文件。代码如下:

    • 第 116 至 119 行:创建新的 Data 文件。文件名格式为,data_${yyyyMMddHHmmss}.sw 。

    • 第 121 行:调用 OffsetManager#setWriteOffset(writeFileName, writeFileOffset) 方法,设置 Offset 的写入的文件名和偏移。

    • 第 124 至 126 行:关闭老的 Data 文件的 outputStream 。

    • 第 129 至 130 行:创建新的 Data 文件的 outputStream 。

  • 第 66 至 77 行:获得 Offset 的写入的 Data 文件,并创建对应的 outputStream 。

  • 第 80 行:调用 SegmentBufferReader#initialize(ModuleManager) 方法,初始化定期读取 Buffer 文件的任务。


OffsetManager#initialize() 方法,初始化 Offset 文件。代码如下:

  • 第 74 行:创建 Offer 对象。该对象包含了当前分别写入和读取的文件名与偏移量。

  • 第 60 至 63 行:创建 Buffer 文件夹成功( 意味着该文件夹不存在 ),调用 #createOffsetFile() ,创建 Data 文件。代码如下:

    • 第 131 行:调用 Offset#serialize() 方法,序列化读写偏移,格式为 ${读取文件名},${读取文件偏移量},${写入文件名},${写入文件偏移量} 。

    • 第 133 至 142 行:写入 Offset 对象到 Offset 文件。写入方式为整行,如下图所示:

    • 第 114 至 116 行:创建新的 Offset 文件。文件名格式为,offset_${yyyyMMddHHmmss}.sw 。

    • 第 118 至 121 行:设置 Offset 对象的写入和读取的文件名与偏移量都为空。在上面的方法,此处的【空】,在 Data 文件创建时,会重新设置 Offset 。

    • 第 123 行:调用 #flush() 方法,写入 Offset 对象到 Offset 文件。代码如下:

  • 第 82 至 94 行:获得所有 Offset 文件,删除老的 Offset 文件,保留最后一个。若不存在 Offset 文件,则调用 #createOffsetFile() 方法,创建新的 Offset 文件。

  • 第 98 至 99 行:从 Offset 文件的最后一行读取,反序列化到 Offset 对象。

  • 第 103 行:创建定义任务,延迟 10 秒,间隔 3 秒,调用 #flush() 方法,定时写入 Offset 对象到 Offset 文件。注意,所以 Offset 改变时,不是立即写入 Offset 文件,而是周期性刷盘。


SegmentBufferReader#initialize(ModuleManager) 方法,初始化定期读取 Buffer 文件的任务。代码如下:

  • 第 56 行:创建定时任务,延迟 3 秒,间隔 3 秒,调用 #preRead() 方法,读取 Buffer 文件,将 TraceSegment 提交给 SegmentParse 重新解析与构建处理。

3.2 写入

SegmentBufferManager#writeBuffer(UpstreamSegment) 方法,将 TraceSegment 写入 Buffer 文件,包括两个步骤:1)将 TraceSegment 写入 Data 文件;2)更新 Offset 文件的偏移。代码如下:

  • 第 94 至 95 行:调用 AbstractMessageLite#writeDelimitedTo(OutputStream) 方法,将 TraceSegment 写入 Data 文件。该方法包括 flush 操作,代码如下:

  • 第 97 至 98 行:超过 Buffer 单文件容量上限,调用 #newDataFile() ,创建 Data 文件。

  • 第 99 至 102 行:调用 OffsetManager#setWriteOffset(position) 方法,设置 Offset 对象的写入偏移。

3.3 读取

SegmentBufferReader#preRead() 方法,读取 Buffer 文件,将 TraceSegment 提交给 SegmentParse 重新解析与构建处理。另外该方法,会删除已经读取完成的 Data 文件。代码如下:

  • -------- 读取文件存在

  • 该情况发生于,Data 文件未被读取完成

  • 第 65 行:调用 #deleteTheDataFilesBeforeReadFile(readFileName) 方法,删除比指定文件早创建的 Data 文件,基于文件名带有创建时间。

  • 第 67 至 68 行:调用 #read() 方法,读取 Buffer 文件,将 TraceSegment 提交给 SegmentParse 重新解析与构建处理。另外,返回 true ,文件被全部读取完成、处理并删除。返回 false ,文件未被全部读取完成。

    • 第 144 至 146 行:从 Data 文件,读取一条 TraceSegment 。

    • 第 149 至 152 行:将 TraceSegment 提交给 SegmentParse 重新解析与构建处理。若解析处理失败,返回 false ,结束循环,等待下次读取处理。

    • 第 155 至 158 行:设置 Offset 对象的读取偏移。

    • 第 133 至 134 行:创建 FileInputStream 对象,并跳转到读取位置。

    • 第 137 至 141 行:获取读取结束的位置。

    • 第 143 至 159 行:循环读取处理,直到到达读取文件上限位置

    • 第 161 至 165 行:全部读取处理完成,关闭 InputStream ,同时删除读取的 Data 文件。

    • 第 166 至 169 行:发生 IOException 异常,返回 false 。

    • 第 170 行:返回 true ,文件被全部读取完成、处理并删除。

  • 第 75 行:调用 #readEarliestCreateDataFile() 方法,循环顺序读取 Data 文件,直到有一个没读完。

    • 第 112 至 118 行:若第一个 Data 文件和 Offset 读取的文件相同,返回。说明,在上一次 #read() 方法里,没有读完。

    • 第 121 至 127 行:循环顺序调用 #read(readFile, readFileOffset) 方法,读取 Data 文件,直到有一个没读完。

  • -------- 读取文件不存在 --------

  • 该情况发生于,Data 文件被全部读取完成,并且删除。

  • 第 73 行:调用 #deleteTheDataFilesBeforeReadFile(readFileName) 方法,删除比指定文件早创建的 Data 文件。

  • 第 75 行:调用 #readEarliestCreateDataFile() 方法,循环顺序读取 Data 文件,直到有一个没读完。

  • -------- 没有可读取的文件 --------

  • 该情况发生于,Data 文件、Buffer 文件首次初始化创建,未设置可读文件名。

  • 第 79 行:调用 #readEarliestCreateDataFile() 方法,循环顺序读取 Data 文件,直到有一个没读完。

d



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

分布式追踪 SkyWalking 源码分析四 Agent 收集 && 发送 trace数据 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 org.skywalking.apm.agent.core.context.trace.TraceSegment,是一次分布式链路... 阅读详情

相关推荐

自动驾驶仿真:Carsim、NI和VTD联合仿真课题二

文章目录前言一、设备配置1、硬件需求2、网络配置二、Carsim工程配置1、创建工程2、创建数据库3、参数配置三、VTD工程配置1、创建工程四、Veristand工程配置1、创建工程五、运行程序 前言 上篇文章《Carsim、NI和VTD联合仿真课题一》简单地介绍了三者之间的联合框架,以及NI与VTD之间简单的组包与拆包指导。这篇文章将要讲述的是如何将三个软件联合起来,如何设置软件参数,用最简单的方法把仿真车开起来。 一、设备配置 1、硬件需求 注:真正的做智能驾驶仿真项目,至少需要两台电脑,一台实时机

zataji的博客 1万+

Golang版本处理Skywalking Trace上报数据

我先尝试了将java版本的SegmentObject转成json,再转成proto文件,然后生成pb.go,用这里生成的。内有我们所有需要的数据,但golang并未找到类似的函数,所以我们需要用golang实现类似。函数,所以我们只需要用golang版本的proto去反序列化base64解密后的byte即可。最后是通过skywalking-go版本agent的源码,找到了对应的pb文件。Tips: 中间记录了解决问题的过程,如不感兴趣可直接跳至结尾。的逻辑,我们先看一下java的源码。

简单随风的博客 2474

英飞凌 AURIX 系列单片机的HSM详解(1)——何为HSM

1. 概述 随着汽车上通信系统越来越复杂,云端远程通信的场景越来越多,信息安全变得越来越重要,在通信领域常用的AES、SHA、RSA等加密算法被越来越多地应用到汽车上。但通常这类加解密算法都需要大量的数学运算,需要消耗很多CPU时间和资源,汽车上的ECU又有比较高的实时性要求,为了节省主CPU的资源,HSM应运而生。 HSM(Hardware Security Module),是MCU上专门用于实现加解密算法的一个外设,它一般会有一个独立的CPU,专门用来进行加解密运算,还有一些针对特定算法的硬件加速器(如

weixin_42967006的博客 4万+

SkyWalking8.7源码解析(五):链路基本知识、链路ID生成、TraceSegment、Span基本概念、Span完整模型、StackBasedTracingSpan

21、链路基本知识 上图是一个下单接口的链路,在链路中首先要理解的概念是Segment,Segment表示一个JVM进程内的所有操作,上图中有6个Segment。Gateway Segment是Mall Segment的parent,通过parent关系就可以把多个Segment按顺序拼起来组装成一个链路 一个Segment里可能发生多个操作,如上图Segment中操作1是查Redis,操作2是查MySQL,这就是两个Span,Span表示一个具体的操作。Span之间也是基于parent的关系构建起

hxt的博客 6063

开源:AI+无人机巡检系统项目调研

本文系统梳理了主流开源无人机巡检技术栈,涵盖飞控系统(PX4/ArduPilot)、地面站软件(QGroundControl)、AI视觉识别(VisDrone/MPID/CPLID数据集)、三维重建(OpenDroneMap/COLMAP)和仿真模拟(AirSim/Gazebo)五大领域。通过对比各项目的技术特点、开发语言、开源协议及商用友好度,为无人机巡检产品开发提供完整的技术选型参考。重点推荐PX4飞控、DroneKit开发API等商用友好项目,同时分析了GPL/AGPL协议项目的开源要求。

lovehu6686的博客 2458

目标检测——布匹缺陷检测数据集

结构瑕疵指的是布料本身的缺陷,包括嵌结、抽纱、错纱、断纱、预缩等问题,这些问题通常是在布料生产过程中出现的。而质量瑕疵则是指布料在使用过程中出现的问题,如污渍、断裂、鼓囊、针眼等,这些问题可能由生产过程中的结构瑕疵导致,也可能是在运输、存放和使用过程中引起的。布匹瑕疵如缺纬、断纬、粗纬、松纬、缺经、断经、粗经、筘痕、污点、破损等,若未得到及时有效的检测,这些瑕疵产品可能会流向市场,导致消费者的不满和退货,严重影响企业的声誉和品牌形象。织疵包括缺经、缺纬、跳花、弓纱、错纱、厚薄段、油污渍等;

zzjlhlcd的博客 612

skywalking源码1---分布式追踪原理

skywalking源码,http分布式链路追踪原理

piliang719719的博客 2178

飞书云文档API操作详细介绍

开通云文档API、python程序调用飞书api、飞书获取app_id和app_secret、

Brother_ning的博客 1万+

java 方法 链路 trace_Skywalking跨进程链路信息传递协议(一)

前言在开发skywalking nginx探针过程中重点分析了“Skywalking跨进程链路信息传递协议”和“Skywalking链路数据采集协议”。skywalking nginx探针的实现目前已完成一个版本并在生产环境上线,有兴趣的朋友可以交流。本文基于Skywalking v5.0.0-GA分析,版本虽然有些落后,但两个协议的核心没有多大变化。两个协议的官方英文称呼及文档参考如下链接:为了...

weixin_36021459的博客 1597

Atlas 300I Pro推理卡性能深度测试:对比业界同类产品的能效比与算力表现

本文对昇腾Atlas 300I Pro推理卡进行了深度性能评测,重点对比了其与业界同类产品的能效比与算力表现。实测数据显示,该卡在运行BERT等模型时展现出高达39.6句子/秒/瓦的卓越能效比,电力成本可降低40%以上,同时其达芬奇架构和硬件加速特征检索能力,为高密度在线推理和向量检索场景提供了强大支撑。

weixin_29031161的博客 580

YOLOv8【第十三章:模型压缩与极致优化篇·第4节】LAMP 剪枝算法——无需超参的自动化剪枝策略!

🏆 本文收录于 《YOLOv8实战:从入门到深度优化》 专栏。该专栏系统复现并梳理全网各类 YOLOv8 改进与实战案例(当前已覆盖分类 / 检测 / 分割 / 追踪 / 关键点 / OBB 检测等方向),坚持持续更新 + 深度解析,质量分长期稳定在 97 分以上,可视为当前市面上 覆盖较全、更新较快、实战导向极强 的 YOLO 改进系列内容之一。

**My Coding Family** 5648

Skywalking为数据库添加多维度数据

前提声明: 版本:8.3版本 基于elasticsearch6.x存储 需求:希望仪表盘数据中的database中的慢sql能够根据服务名,接口名和实例来检索出慢sql数据,大致如下图所示。 那么其实是要求我们做两件事: 1、扩充数据源并存储进es中 2、查询接口改造成带搜索条件的 1、扩充数据源并存储进es中 DatabaseSlowStatement实体添加额外字段 package org.apache.skywalking.oap.server.core.source; .

战斗小火鸡 1511

Python语言基本语法元素

Python语言的基本语法元素:包括Python程序的格式框架,语法元素名称,数据类型和语句元素以及基本的输入输出函数。

Python全栈系列 8366

SkyWalking 源码分析 —— Collector 存储 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第四部分】SkyWalking Collector 存储 Trace 数据。 友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本.

weixin_42073629的博客 1119

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

SkyWalking 源码分析 —— Collector 接收 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第三部分】SkyWalking Collector 接收 Trace 数据。 友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本.

weixin_42073629的博客 645

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

分布式链路追踪 SkyWalking 源码分析 —— Agent 发送 Trace 数据

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏原创 | Java 2019 超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络...

芋艿V 616

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

skywalking原理_分布式链路追踪 SkyWalking 源码分析 —— Agent 发送 Trace 数据

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/agent-send-trace/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. TraceSegmentServiceClient2.1 实现 BootService 接口2.2 实现 GRPCChannelListener 接口2.3 实现 Trac...

weixin_39845220的博客 434

SkyWalking 源码分析 —— Agent 发送 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第二部分】SkyWalking Agent 发送 Trace 数据。 考虑到减少外部组件的依赖,Agent 收集到 Trace 数据后,不是写入外部消息队列( 例如,Kafka )或者日志文件,而是 Agent ..

weixin_42073629的博客 968

分布式链路追踪 SkyWalking 源码分析 —— Collector 初始化

本文主要基于 SkyWalking 3.2.6 正式版 1. 概述 2. CollectorBootStartUp 2. ApplicationConfigLoader 3. ModuleManager 3.1 Module 3.2 ModuleProvider 3.3 Service 3.4 Boot...

qiujiavip的博客 386

SkyWalking 源码分析 —— Collector gRPC Server Manager

本文详细介绍了SkyWalking Collector中gRPC Server Manager的架构设计与实现。作为分布式APM系统的核心组件,该管理器采用模块化设计,包含GRPCServerManager(生命周期管理)和GRPCHandler(服务实现)两大核心模块。系统通过优化的线程模型(分离I/O与业务线程)、连接池管理、批量处理等机制保障高性能;提供流量控制、认证授权、链路追踪等高级特性;并具备完善的错误处理、优雅关闭及监控能力。文章还涵盖了配置优化、测试策略和运维实践,展现了该组件在微服务监控场

油墨香^-^的博客 606

Logback集成SkyWalking Trace ID:实现分布式链路日志追踪

在微服务架构中,分布式链路追踪是解决跨服务调用问题排查的关键技术。其核心原理是为每个请求生成全局唯一的Trace ID,并通过线程上下文在服务间传递,从而将分散的日志串联成完整的执行链路。这项技术的核心价值在于极大提升了复杂分布式系统的可观测性与故障定位效率,广泛应用于微服务监控、性能分析和日志聚合等场景。本文聚焦于如何将Apache SkyWalking生成的Trace ID无缝集成到Logback日志框架中,通过自定义Converter实现日志自动标记,并结合SkyWalking Agent的无侵入字节

weixin_33951761的博客 412

从 agent.config 到 ES:拆解 SkyWalking 数据流动的每一步(附源码 + 实验)

文章摘要: 本文深入解析了SkyWalking全链路监控系统的数据流动过程,通过实验验证了从Agent采集到Elasticsearch存储的完整链路。主要内容包括: 搭建了一个由三个Spring Boot服务组成的Demo环境,演示了请求从网关到后端服务的完整调用链路追踪过程。 详细拆解了SkyWalking三大组件(Agent、OAP、UI)的协同工作原理,包括通信协议和端口分工。 通过七项实验验证了数据采集→传输→解析→存储→查询→展示的全流程透明性,确认了系统可靠性和可扩展性。

qq_59357573的博客 606

segment_object_model_3d

* *********************************************************************** * This example program shows how to use the operator * segment_object_model_3d in HALCON. First, the 2.5D * input imag...

weixin_30484739的博客 806

源码角度了解Skywalking之Trace信息的生成

这篇文章我们主要讲了Trace在一个请求过来的时候是怎么创建的,span的类型有三种,EntrySpan是进入这个服务的时候创建的Span,LocalSpan是本地方法调用的时候创建的Span,ExitSpan是离开这个服务创建的Span,深入分析了ContextManager这个类,这个类主要完成的是当前线程和TracingContext的绑定,TracingContext这个类就是创建span的类了。调用d()方法的时候创建ExitSpan对象入栈,服务b调用结束的时候ExitSpan出栈。

Candyz7的博客 2947

amp 调用链_APM和调用链跟踪

随着企业经营规模的扩大,以及对内快速诊断效率和对外SLA(服务品质协议,service-level agreement)的追求,对于业务系统的掌控度的要求越来越高,主要体现在:对于第三方依赖的监控,实时/准实时了解第三方的健康状况/服务品质,降低第三方依赖对于自身系统的扰动(服务降级、故障转移)对于容器的监控,实时/准实时的了解应用部署环境(CPU、内存、进程、线程、网络、带宽)情况,以便快速扩容...

weixin_39842029的博客 1045

skywalking trace跟踪原理

skywalking trace跟踪原理: 1.先理解trace的几个概念,EntrySpan EntrySpan ExitSpan https://skyapm.github.io/document-cn-translation-of-skywalking/zh/6.2.0/guides/Java-Plugin-Development-Guide.html 2.以百度的 brpc插件为例 ClientInterceptor @Override public void ...

liuhehe的博客 3193
上一篇: 现身说法:37 岁老码农找工作
下一篇: 2020 搞个 Mac 玩玩吧!
公众号-芋道源码
博客等级 码龄10年 1638粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值