分布式链路追踪 SkyWalking 源码分析 —— Collector 初始化

skywalking 插件源码分析 skywalking 插件源码分析一、总览1.1 启动1.2 写一个插件1.2.1 定义拦截规则1.2.2 配置插件定义1.2.3 实现一个拦截器1.2.4 一个现成的插件二. 源码分析2.1 源码位置2.2 启动流程2.1.1 启动&处理启动参数2.1.2 加载插件1. 获取 SystemClassloader2. 设置路径集合:3. 搜索插件jar包中"skywalking-plugin.def"4. 加载skywalking-plugin.def内容5. * Instrumet类简介6.* 切 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-init/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版

  • 1. 概述

  • 2. CollectorBootStartUp

  • 2. ApplicationConfigLoader

  • 3. ModuleManager

    • 3.1 Module

    • 3.2 ModuleProvider

    • 3.3 Service

    • 3.4 BootstrapFlow

  • 4. Module 实现类简介


1. 概述

本文主要分享 SkyWalking Collector 启动初始化的过程。在分享的过程中,我们会简单介绍 Collector 每个模块及其用途。

ps :Collector 是 SkyWalking 的 Server 端。整体如下图 :

FROM https://github.com/apache/incubating-skywalking 

2. CollectorBootStartUp

org.skywalking.apm.collector.boot.CollectorBootStartUp ,在 apm-sniffer/apm-agentMaven 模块项目里,SkyWalking Collector 启动入口。

#main(args) 方法,启动 Collector ,代码如下 :

  • 第 45 行 :调用 ApplicationConfiguration#load() 方法,加载 Collector 配置。

  • 第 47 行 :调用 ModuleManager#init(…) 方法,初始化 Collector 组件们。

  • 第 60 行 :调用 Thread#sleep(60000) 方法,等待 Collector 内嵌的 Jetty Server 启动完成。

2. ApplicationConfigLoader

org.skywalking.apm.collector.boot.config.ApplicationConfigLoader ,实现 org.skywalking.apm.collector.boot.config.ConfigLoader 接口,Collector 配置( org.skywalking.apm.collector.core.module.ApplicationConfiguration )加载器。

在看具体代码实现之前,我们先了解下 ApplicationConfiguration 整体类结构。如下图所示 :

  • Collector 使用组件管理器( ModuleManager ),管理多个组件( Module )。

    • 一个组件有多种组件服务提供者( ModuleProvider ),同时一个组件只允许使用一个组件服务提供者。这块下面会有代码解析说明。

  • Collector 使用一个应用配置类( ApplicationConfiguration )。

    • 一个应用配置类包含多个组件配置类( ModuleConfiguration )。每个组件对应一个组件配置类。

    • 一个组件配置类包含多个组件服务提供者配置( ProviderConfiguration )。每个组件服务提供者对应一个组件配置类。注意:因为一个组件只允许同时使用一个组件服务提供者,所以一个组件配置类只设置一个组件服务提供者配置。

  • 整个配置文件,对应应用配置类。绿框部分,对应一个组件配置类。红框部分,对应一个组件服务提供者配置类。

下面,我们来看看 ApplicationConfigLoader#load() 方法,代码如下 :

  • 第 47 行 :调用 #loadConfig() 方法,从 apm-collector-core 的 `application.yml` 加载自定义配置。

  • 第 49 行 :调用 #loadDefaultConfig() 方法,从 apm-collector-core 的 `application-default.yml` 加载默认配置。

  • 两个方法逻辑基本一致,已经添加代码注释,胖友自己阅读理解。

3. ModuleManager

org.skywalking.apm.collector.core.module.ModuleManager ,组件管理器,负责组件的管理与初始化。

#init() 方法,初始化组件们,代码如下 :

  • 第 51 至 53 行 :调用 java.util.ServiceLoader#load(Module.class) 方法,加载所有 Module 实现类的实例数组。ServiceManager 基于 SPI (Service Provider Interface) 机制,在每个 apm-collector-xxx-define 项目的 /resources/META-INF.services/org.skywalking.apm.collector.core.module.Module 文件里,定义了该项目 Module 的实现类。如果胖友对 SPI 机制不熟悉,可以看下如下文章 :

    • 《SPI 和 ServiceLoader》

    • 《跟我学Dubbo系列之Java SPI机制简介》

  • 第 55 至 75 行 :遍历所有 Module 实现类的实例数组,创建在配置中的 Module 实现类的实例,并执行 Module 准备阶段的逻辑,后添加到加载的组件实例的映射( loadedModules )。

    • 第 59 至 67 行 :创建 Module 对象。

    • 第 69 行 :调用 Module#prepare(…) 方法,执行 Module 准备阶段的逻辑。在改方法内部,会创建 Module 对应的 ModuleProvider 。在 「3.1 Module」 详细解析。

    • 第 71 行 :添加到 loadedModules 。

  • 第 77 至 80 行 :校验在配置中的 Module 实现类的实例都创建了,否则抛出异常。

  • 第 84 行 :调用 BootstrapFlow#start(…) 方法,执行 Module 启动逻辑。「3.4 BootstrapFlow」详细解析。

  • 第 86 行 :调用 BootstrapFlow#notifyAfterCompleted() 方法,执行 Module 启动完成,通知 ModuleProvider 。「3.4 BootstrapFlow」 详细解析。

  • 总的来说,Module 初始化的过程,可以理解成三个阶段,如下图所示 :

3.1 Module

org.skywalking.apm.collector.core.module.Module ,组件抽象类。通过实现 Module 抽象类,实现不同功能的组件。目前 Collector 的 Module 实现类如下图 :

#name() 抽象方法,获得组件名。目前组件名有 :

#providers() 方法,获得 ModuleProvider 数组。实际上,一个 Module 同时只能有一个 ModuleProvider ,参见 #provider() 方法。

#services() 抽象方法,获得 Service 类数组。具体 Service 对象,在 ModuleProvider 对象里获取,参见 #getService(serviceType) 方法。

#prepare(...) 方法,执行 Module 准备阶段的逻辑,代码如下 :

  • 第 69 行 :调用 java.util.ServiceLoader#load(ModuleProvider.class) 方法,加载所有 ModuleProvider 实现类的实例数组。ServiceManager 基于 SPI (Service Provider Interface) 机制,在每个 apm-collector-xxx-yyy-provider 项目的 /resources/META-INF.services/org.skywalking.apm.collector.core.module.ModuleProvider 文件里,定义了该项目 ModuleProvider 的实现类。

  • 第 72 至 93 行 :遍历所有 ModuleProvider 实现类的实例数组,创建在配置中的 ModuleProvider 实现类的实例,后添加到加载的组件服务提供者实例的映射( loadedProviders )。

  • 第 95 至 98 行 :校验有 ModuleProvider 初始化,否则抛出异常。

  • 第 100 至 104 行 :调用 ModuleProvider#prepare(…) 方法,执行 ModuleProvider 准备阶段的逻辑。在改方法内部,会创建 ModuleProvider 对应的 Service 。在 「3.2 ModuleProvider」 详细解析。

3.2 ModuleProvider

org.skywalking.apm.collector.core.module.ModuleProvider ,组件服务提供者抽象类。通过实现 ModuleProvider 抽象类,实现不同功能的组件服务提供者。目前 Collector 的 ModuleProvider 实现类如下图 :

#name() 抽象方法,获得组件服务提供者名。目前组件服务提供者名有 :

#module() 抽象方法,获得 ModuleProvider 对应的 Module 类。注意,ModuleProvider 的名字可以重复,例如上图的 jetty ,通过对应的 Module 类来区分。

#requiredModules() 抽象方法,获得 ModuleProvider 依赖的 Module 名字数组。

---------- Service 相关方法 Begin ----------

#registerServiceImplementation(Class<? extends Service>, Service) 方法,注册 Service 对象。一个 ModuleProvider 可以有 0 到 N 个 Service 对象。

#getService(Class<T>) 方法,获得 Service 对象。

#requiredCheck(...) 方法,校验 ModuleProvider 包含的 Service 们都创建成功。

  • 方法参数,从 Module#services() 方法获得。

  • 该方法会被 BootstrapFlow#start() 方法调用,在 「3.4 BootstrapFlow」 详细解析。

---------- Service 相关方法 End ----------

#prepare(Properties) 抽象方法,执行 ModuleProvider 准备阶段的逻辑:Service 的创建,私有变量的创建等等。例如,StorageModuleH2Provider#prepare(Properties) 。

#start(Properties) 抽象方法,执行 ModuleProvider 启动阶段的逻辑:私有变量的初始化等等。例如,StorageModuleH2Provider#start(Properties) 。

  • 该方法会被 BootstrapFlow#start() 方法调用,在 「3.4 BootstrapFlow」 详细解析。

#notifyAfterCompleted() 抽象方法,执行 ModuleProvider 启动完成阶段的逻辑:私有变量的初始化等等。例如,StorageModuleEsProvider#notifyAfterCompleted(Properties) 。

  • 该方法会被 BootstrapFlow#notifyAfterCompleted() 方法调用,在 「3.4 BootstrapFlow」 详细解析。

3.3 Service

org.skywalking.apm.collector.core.module.Service ,服务接口。通过实现 Service 接口,实现不同功能的服务。目前 Collector 的 Service 实现类如下图 :

这里有一点要注意下,实际上 Module 是与 Service "直接" 一对多的关系。中间 有一层 ModuleProvider 存在的原因是,相同 Module 可以有多种 ModuleProvider 实现,而 ModuleProvider 提供提供相同功能的 Service ,但是实现不同。

以 apm-collector-storage 举例子,如下图所示 :

  • StorageModuleEsProvider / StorageModuleH2Provider 分别基于 ES / H2 实现,其提供存储相同数据的不同实现。例如 :

一般 collector-xxx-define 的 service 包下,会定义当前模块提供的 Service 接口,如下图所示 :

这也是为什么有 Module#services() 和 #requiredCheck(Class<? extends Service>[]) 这样的方法涉及的原因。

另外,如下是 Service 接口的解释:

The Service implementation is a service provided by its own modules.

And every {@link ModuleProvider} must provide all the given services of the {@link Module}.

3.4 BootstrapFlow

org.skywalking.apm.collector.core.module.BootstrapFlow,组件启动流程。

BootstrapFlow 构造方法,调用 #makeSequence() 方法,获得 ModuleProvider 启动顺序,这个是该类的重点。

#start() 方法,执行 Module 启动逻辑。

  • 第 54 至 63 行 :校验依赖 Module 已经都存在。

  • 第 67 行 :校验 ModuleProvider 包含的 Service 们都创建成功。

  • 第 70 行 :调用 ModuleProvider#start(…) 方法,执行 ModuleProvider 启动阶段逻辑。

#notifyAfterCompleted() 方法,调用 ModuleProvider#notifyAfterCompleted() 方法,执行 ModuleProvider 启动完成阶段的逻辑。

4. Module 实现类简介

  • Naming Module :《SkyWalking 源码分析 —— Collector Naming Server 命名服务》

  • UI Module :

    • 《SkyWalking 源码分析 —— 运维界面(一)之应用视角》

    • 《SkyWalking 源码分析 —— 运维界面(二)之应用实例视角》

    • 《SkyWalking 源码分析 —— 运维界面(三)之链路追踪视角》

    • 《SkyWalking 源码分析 —— 运维界面(四)之操作视角》

  • Queue Module :《SkyWalking 源码分析 —— Collector Queue 队列组件》

  • Cache Module :《SkyWalking 源码分析 —— Collector Cache 缓存组件》

  • Cluster Module :《SkyWalking 源码分析 —— Collector Cluster 集群管理》

  • Component Libraries :《SkyWalking 源码分析 —— Collector Client Component 客户端组件》 、《SkyWalking 源码分析 —— Collector Server Component 服务器组件》

  • Core :

    • 《SkyWalking 源码分析 —— Collector Storage 存储组件》「2. apm-collector-core」

    • 《SkyWalking 源码分析 —— Collector 初始化》「3. ModuleManager」

  • Storage Module :《SkyWalking 源码分析 —— Collector Storage 存储组件》

    • 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》「2. apm-collector-core/graph」

    • 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)》「2. Data」

  • Agent Module :参见 Agent Streaming Computing 。

  • Jetty Manager Module :《SkyWalking 源码分析 —— Collector Jetty Server Manager》

  • gRPC Manager Module :《SkyWalking 源码分析 —— Collector gRPC Server Manager》

  • Agent Streaming Computing :

    • 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》「2. apm-collector-core/graph」

    • 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)》「2. Data」

    • 《SkyWalking 源码分析 —— Collector Remote 远程通信服务》

    • 《SkyWalking 源码分析 —— Agent 收集 Trace 数据》

    • 《SkyWalking 源码分析 —— Agent 发送 Trace 数据》

    • 《SkyWalking 源码分析 —— Collector 接收 Trace 数据》

    • 《SkyWalking 源码分析 —— Collector 存储 Trace 数据》

  • Baseline Module :TODO 【4001】

  • Alerting Module :TODO 【4001】



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

Skywalking源码分析~启动流程 skywalking源码分析 阅读详情

相关推荐

欧姆龙NX控制器与Sysmac studio的电机配置方法

使用歐姆龍NX控制器與Sysmac studio控制電機簡單運動 <上> — 環境配置0. 前言1. 實際硬件連接2. Sysmac studio 配置2.1 新建工程2.2 通信設置2.2.1 軟件內通信設置2.2.2 上位機本地通信設置 0. 前言 筆者最近需要使用到歐姆龍的多軸運動控制器來控制電機運動,但網路上關於Sysmac studio的教程或文章較為零散,作為初學者的筆者難以消化,故在稍微會用軟件後撰寫本文,為自己留個筆記,同時希望能夠幫助到需要的人。 1.本文面向買了歐姆龍控制器

weixin_46005653的博客 1万+

SkyWalking链路追踪-Collector(收集器)

SkyWalking的Collector(收集器)是SkyWalking链路追踪的核心组件之一。它负责接收来自各个Agent的追踪数据,并将其存储到数据存储器(如数据库)中。具体来说,Collector提供了一个统一的接口,用于接收和处理从Agent发送过来的数据。

阿丹的博客 1773

ServiceNow Discovery & CMDB Interview Questions and Answers (2025)

【代码】ServiceNow Discovery & CMDB Interview Questions and Answers (2025)

weixin_47584092的博客 912

SkyWalking8.7源码解析(一):Agent启动流程、Agent配置加载流程、自定义类加载器AgentClassLoader、插件定义体系、插件加载

1、Agent启动流程 找到入口方法SkyWalkingAgent的premain()方法,源码如下: public class SkyWalkingAgent { /** * Main entrance. Use byte-buddy transform to enhance all classes, which define in plugins. * -javaagent:/path/to/agent.jar=agentArgs * -javaagent:

hxt的博客 1万+

从轻量化到高精度:3DXML 转 STP 的工程数据升级技术指南

本文详细解析了3DXML转STP格式的工程数据升级技术,对比了两种格式在轻量化和高精度方面的特性差异,并提供了CATIA、FreeCAD及Python编程等多种专业级转换方案。通过实际案例展示了如何确保转换过程中的数据精度,适用于CAD设计、精密制造等场景,帮助工程师实现工程数据的高效升级。

weixin_29201859的博客 215

使用trae自动生成前后端分离的web应用程序

使用ai自动生成前后端分离的web应用程序

一介书生 2530

全网最全Skywalking8.9.1源码解析系列文章

v-if是惰性的,是真正的条件渲染,只有当条件为真的时候才会渲染条件块,当不为真是则会对条件块内的事件监听器和子组件进行适当销毁和重建 所以说v-if会有更多的切换开销,v-show则有更高的初始渲染开销,所以如果有非常频繁的切换,使用v-show,否则使用v-if v-show不能用在<template>元素上 ...

Maybeno1314的博客 4051

从零到一:基于GeneMark-ES/ET的新基因组注释实战指南

本文提供了一份基于GeneMark-ES/ET的新基因组注释实战指南。详细介绍了从环境搭建、数据准备到核心运行的全流程,重点解析了ES(从头预测)与ET(结合RNA-Seq证据)两种模式的选择与操作,并分享了Perl模块依赖、并行处理等常见问题的解决方案,帮助生物信息学研究者高效完成基因预测工作。

weixin_29266647的博客 210

深入剖析skywalking

例如,当一个方法被调用时,探针会在方法的入口和出口插入代码,记录方法的调用时间、参数、返回值等信息,并将这些信息封装成 Span 对象。一个 Span 包含了调用的开始时间、结束时间、调用的服务名、操作名、调用的状态(成功或失败)、调用的耗时等信息。在链路详情页面,用户可以查看每个 Span 的详细信息,包括开始时间、结束时间、调用的服务名、操作名、状态、标签和日志等。具体来说,当一个类被加载时,Java探针会拦截类的加载过程,使用ASM库解析类的字节码,并在需要的方法中插入数据采集代码。

weixin_44582927的博客 1283

数字后端设计实现 | 数字后端PR工具Innovus中如何创建不同高度的row?

数字IC后端设计实现之innovus中如何创建不同高度的row?

weixin_37584728的博客 3164

大厂面试:字节跳动大数据面试题及参考答案(10万字长文及多张原理图持续更新)

在 Spark 中,宽窄依赖是用来描述 RDD(弹性分布式数据集)之间的依赖关系的概念。窄依赖是指父 RDD 的每个分区最多被一个子 RDD 的分区使用,即子 RDD 的分区可以通过确定的规则从父 RDD 的分区计算得到,并且不需要跨节点进行数据传输。窄依赖通常可以在一个节点上进行计算,不需要进行数据的 shuffle 操作,因此性能较高。宽依赖是指父 RDD 的一个分区可能被多个子 RDD 的分区使用,即子 RDD 的分区需要通过跨节点的数据 shuffle 操作从父 RDD 的多个分区获取数据。

大模型大数据攻城狮的专栏 1652

skywalking使用方法_分布式链路追踪 SkyWalking 源码分析 —— Collector 初始化

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-init/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. CollectorBootStartUp2. ApplicationConfigLoader3. ModuleManager3.1 Module3.2 ModuleProvid...

weixin_39866087的博客 259

【数据集】全球预报系统GFS概述:数据下载及处理

【数据集】全球预报系统GFS概述:数据下载及处理

WW、forever的博客 5751

链路追踪 SkyWalking 源码分析 —— Collector 接收 Trace 数据

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏原创 | Java 2019 超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络...

芋艿V 824

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

SkyWalking 源码分析 —— Collector 接收 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第三部分】SkyWalking Collector 接收 Trace 数据。 友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本.

weixin_42073629的博客 645

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

分布式链路追踪 SkyWalking 源码分析 —— Collector Cluster 集群管理

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 ...

芋艿V 369

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

SkyWalking监控项全面配置教程源码启动流程解析二开实战

SkyWalking监控项配置教程源码分析及二开实战

Aahg521626的博客 1910

链路追踪 SkyWalking 源码分析 —— Collector Server Component 服务器组件

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 Ro...

芋艿V 251

分布式链路追踪 SkyWalking 源码分析 —— Agent Remote 远程通信服务

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析...

芋道源码 544

skywalking使用方法_分布式链路追踪 SkyWalking 源码分析 —— Collector Cluster 集群管理...

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-cluster-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. collector-cluster-define3. collector-cluster-zookeeper-provider4. collector-cl...

weixin_39752215的博客 265

链路追踪 SkyWalking 源码分析 —— Collector Client Component 客户端组件

本文主要基于 SkyWalking 3.2.6 正式版 1. 概述 2. Client 3. ElasticSearchClient 4. GRPCClient 5. H2Client 6. RedisClient 7. ZookeeperClient 666. 彩蛋 1. 概述 本文主要分享SkyWalki...

qiujiavip的博客 324

grpc通信原理_分布式链路追踪 SkyWalking 源码分析 —— Agent Remote 远程通信服务...

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/agent-remote-manager/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. GRPCChannelManager3. GRPCChannelListener《Netty 实现原理与源码解析 —— 精品合集》《Spring 实现原理与源码解析...

weixin_39723102的博客 656

从 agent.config 到 ES:拆解 SkyWalking 数据流动的每一步(附源码 + 实验)

文章摘要: 本文深入解析了SkyWalking全链路监控系统的数据流动过程,通过实验验证了从Agent采集到Elasticsearch存储的完整链路。主要内容包括: 搭建了一个由三个Spring Boot服务组成的Demo环境,演示了请求从网关到后端服务的完整调用链路追踪过程。 详细拆解了SkyWalking三大组件(Agent、OAP、UI)的协同工作原理,包括通信协议和端口分工。 通过七项实验验证了数据采集→传输→解析→存储→查询→展示的全流程透明性,确认了系统可靠性和可扩展性。

qq_59357573的博客 606
上一篇: 一文看透 Redis 分布式锁进化史(解读 + 缺陷分析)
下一篇: 震惊了!原来这才是 Kafka!(多图+深入)
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值