链路追踪 SkyWalking 源码分析 —— Collector Cache 缓存组件

分布式之Skywalking Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的产品,它同时吸收了Zipkin /Pinpoint /CAT 的设计思路。特点是:支持多种插件,UI功能较强,支持非侵入式埋点。目前使用厂商最多,版本更新较快。数据存储支持:Elasticsearch、MySQL、H2、TiDB。默认是H2,而且是存到内存。实际我们一般将其存到ES。主页:http://skywalking.apache.org/ 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-cache-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版

  • 1. 概述

  • 2. collector-cache-define

    • 2.1 CacheModule

    • 2.2 ApplicationCacheService

    • 2.3 InstanceCacheService

    • 2.4 ServiceNameCacheService

  • 3. collector-cache-guava-provider

    • 3.1 CacheModuleGuavaProvider

    • 3.2 ApplicationCacheGuavaService

    • 3.3 InstanceCacheGuavaService

    • 3.4 ServiceNameCacheGuavaService


1. 概述

本文主要分享 SkyWalking Collector Cache Module,缓存组件。该组件用于缓存 Application 、Instance 、ServiceName 等常用且不变的数据,以提升性能。

友情提示:本文内容较为简单,胖友可快速阅读。

Cache Module 在 SkyWalking 架构图处于如下位置( 红框 ) :

FROM https://github.com/apache/incubating-skywalking

下面我们来看看整体的项目结构,如下图所示 :

  • collector-cache-define :定义缓存组件接口。

  • collector-cache-guava-provider :基于 Google Guava 的缓存组件实现。

下面,我们从接口到实现的顺序进行分享。

2. collector-cache-define

collector-cache-define :定义队列组件接口。项目结构如下 :

2.1 CacheModule

org.skywalking.apm.collector.cache.CacheModule ,实现 Module 抽象类,缓存 Module 。

#name() 实现方法,返回模块名为 "cache" 。

#services() 实现方法,返回 Service 类名:ApplicationCacheService 、InstanceCacheService 、ServiceIdCacheService 、ServiceNameCacheService 。

2.2 ApplicationCacheService

org.skywalking.apm.collector.cache.service.ApplicationCacheService ,应用数据缓存服务接口。

  • Table :org.skywalking.apm.collector.storage.table.register.ApplicationTable

  • Data :org.skywalking.apm.collector.storage.table.register.Application

2.3 InstanceCacheService

org.skywalking.apm.collector.cache.service.InstanceCacheService ,应用实例数据缓存服务接口。

  • Table :org.skywalking.apm.collector.storage.table.register.InstanceTable

  • Data :org.skywalking.apm.collector.storage.table.register.Instance

2.4 ServiceNameCacheService

org.skywalking.apm.collector.cache.service.ServiceNameCacheService ,服务名数据缓存服务接口。
org.skywalking.apm.collector.cache.service.ServiceIdCacheService ,服务编号数据缓存服务接口。

  • Table :org.skywalking.apm.collector.storage.table.register.ServiceNameTable

  • Data :org.skywalking.apm.collector.storage.table.register.ServiceName

3. collector-cache-guava-provider

collector-cache-guava-provider ,基于 Google Guava 的缓存组件实现。

项目结构如下 :

默认配置,在 application-default.yml 已经配置如下:

cache:  guava:

3.1 CacheModuleGuavaProvider

org.skywalking.apm.collector.cache.guava.CacheModuleGuavaProvider ,实现 ModuleProvider 抽象类,基于 Guava 的缓存组件服务提供者。

#name() 实现方法,返回组件服务提供者名为 "guava" 。

module() 实现方法,返回组件类为 CacheModule 。

#requiredModules() 实现方法,返回依赖组件为空。


#prepare(Properties) 实现方法,执行准备阶段逻辑。

  • 第 44 行 :创建 ApplicationCacheGuavaService 、InstanceCacheGuavaService 、ServiceIdCacheGuavaService 、ServiceNameCacheGuavaService 对象,并调用 #registerServiceImplementation() 父类方法,注册到 services 。

#start() 实现方法,方法为空。

#notifyAfterCompleted() 实现方法,方法为空。

3.2 ApplicationCacheGuavaService

org.skywalking.apm.collector.cache.guava.service.ApplicationCacheGuavaService ,实现 ApplicationCacheService 接口,基于 Guava 的应用数据缓存服务实现类。

  • EsDAO :org.skywalking.apm.collector.storage.es.dao.ApplicationEsCacheDAO

3.3 InstanceCacheGuavaService

org.skywalking.apm.collector.cache.guava.service.InstanceCacheGuavaService ,实现 InstanceCacheService 接口,基于 Guava 的应用实例数据缓存服务实现类。

  • EsDAO :org.skywalking.apm.collector.storage.es.dao.InstanceEsCacheDAO

3.4 ServiceNameCacheGuavaService

org.skywalking.apm.collector.cache.guava.service.ServiceNameCacheGuavaService ,实现 ServiceNameCacheService 接口,基于 Guava 的服务名数据缓存服务实现类。
org.skywalking.apm.collector.cache.guava.service.ServiceIdCacheGuavaService ,实现 ServiceNameCacheService 接口,基于 Guava 的服务编号数据缓存服务实现类。

  • EsDAO :org.skywalking.apm.collector.storage.es.dao.ServiceNameEsCacheDAO



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

SpringBoot教程(三十二) SpringBoot集成Skywalking链路跟踪 进入 D:apache-skywalking-apm-8.9.1apache-skywalking-apm-binin ,双击运行 startup.bat(7.x及以下版本 APM 包里面有包括 Agents,但是8.x的就发现被分开了,所以8.x的及以上的 就需要 Agents 也得下载。再看 Skywalking(http://localhost:8080/) 页面那边,你就会发现有个这个图(表示连接上了)启动后,控制台日志输出开头出现了以下的记录,就表示连接上Skywalking了。 阅读详情

相关推荐

一种极致性能的缓冲队列

本文已收录 https://github.com/lkxiaolou/lkxiaolou 欢迎star。 背景 在多线程下的生产者-消费者模型中,需求满足如下情况: 对生产者生产投递数据的性能要求非常高 多个生产者,单个(多个也可以,本文只介绍单个的情况)消费者 当消费者跟不上生产者速度时,可容忍少部分数据丢失 生产者是单条单条地生产数据 举个日志采集的例子,日志在不同的线程上生产,在日志生产速度远超消费者速度时,可以丢弃部分数据,要求打日志的性能损耗最小,这种情况下可采用本文提供的极致性能的缓冲队列。.

捉虫大师 702

SkyWalking链路追踪-Collector(收集器)

SkyWalking的Collector(收集器)是SkyWalking链路追踪的核心组件之一。它负责接收来自各个Agent的追踪数据,并将其存储到数据存储器(如数据库)中。具体来说,Collector提供了一个统一的接口,用于接收和处理从Agent发送过来的数据。

阿丹的博客 1773

Skywalking链路追踪自身耗时和总耗时算法分析

Skywalking链路追踪自身耗时和总耗时算法分析

分布式链路追踪 SkyWalking 源码分析 —— Collector Remote 远程通信服务

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 Ro...

芋艿V 354

Unable to negotiate with XXXX port 22: no matching host key type found. Their offer: ssh-rsa,ssh-dss

打开ssh_config此文件,滑动到最下面,新增自己git主机地址(这里我直接默认*)执行命令 git clone git@xxxxxxxxxxxxx.git。代码仓库已经添加了ssh公钥之后,克隆代码到本地时就报了这个问题。首先是找到git安装目录(根据自己安装时选项,找到这个目录)再进入ssh目录,找到 ssh_config 配置文件。配置完成后,保存配置文件后再次去clone代码。直接复制下面这一段到文件中最底部位置即可。然后进入 etc目录,找到ssh目录。终于可以克隆下来了。

萌兔兔MMQ!! 3360

基于Python批量获取过去某地某时的天气数据

此段代码为经Visual Weather API官网样例后修改。原代码返回数据格式为json,经测试json风速字段不可用,后改为返回数据格式为csv。若修改weather_api_endpoint,还可获取该地点的预测数据,但返回数据字段可能发生变化,请以官网文档为准。获取到的字段包括:平均温度、露点、湿度、风速、降雨量、能见度、云量、天气类型等。目的:已知某一地址,获取过去某一时间该地的天气数据,并能够批量运行。这一步也会有获取不到的时间和地点,因此为空白。此段代码为经百度地图api官网样例后修改。

wiseman1233的博客 905

解决“Cache‘ data was lost due to an unexpected power-off or reboot”故障

所有配备有回写缓存的SAS RAID卡,包括ThinkSystem、System x及ThinkServer系列服务器机型,在启动过程中出现"Critical Message","Cache data was lost..."的报错。在"Critical Message"界面将光标下移到"Enter Your Input Here:"处,按回车,在输入框中输入字母"A",再按回车;随后服务器会继续POST及引导过程,建议在此时进入RAID卡配置界面查看RAID状态,如果RAID状态正常,可以继续正常引导。

我有零花钱的博客 3110

RTC 实时时钟实验

如果在 RTC_CR 寄存器中设置了相应的允许位,则在每个TR_CLK 周期中 RTC 产生一个中断(秒中断)。void BKP_WriteBackupRegister(uint16_t BKP_DR, uint16_t Data) // 往备份区域写用户数据的函数 (这个函数的第一个参数就是寄存器的标号了,这个是通过宏定义定义的)存储在 RTC_ALR 寄存器中的可编程时间相比较,如果 RTC_CR 控制寄存器中设置了相应允许位,比较匹配时将产生一个闹钟中断。寄存器操作完成,并同步之后,设置秒钟中断。

m0_55996456的博客 1206

SkyWalking 源码分析 —— Collector 存储 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第四部分】SkyWalking Collector 存储 Trace 数据。 友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本.

weixin_42073629的博客 1119

安装 Claude Code 并接入阿里云百炼(Bailian)

这些工具通常提供可视化界面,只需在设置中填入阿里云百炼的 API Key 和 Base URL 即可,无需配置环境变量。注意:如果你使用的是阿里云百炼的 Coding Plan 套餐,请使用该套餐专属的 API Key 和 Base URL。你可以使用文本编辑器打开该文件,或者在终端使用命令(如 macOS/Linux 下使用 nano ~/.claude/settings.json)。你可以直接用自然语言下达指令,例如:“帮我在这个目录下写一个 Python 脚本,实现两数之和的功能”。

hopsky的博客 1850

Milvus 向量数据库部署方案全景指南:从单机开发到生产级高可用集群

本文系统介绍了Milvus向量数据库的四大部署方案:嵌入式开发利器Milvus Lite、单机简易部署Standalone模式、生产级高可用Cluster模式以及全托管SaaS服务Zilliz Cloud。针对不同应用场景(开发测试、小型应用、大规模生产环境),详细分析了各模式的适用条件、资源配置要求和部署步骤,并提供了关键配置示例。文章强调正确选择部署方案对系统性能至关重要,帮助开发者根据向量规模、QPS和高可用需求,选择最优部署方式,实现资源优化与稳定运行。

reset2021的博客 387

skywalking原理_链路追踪 SkyWalking 源码分析 —— Collector Cache 缓存组件

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-cache-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. collector-cache-define2.1 CacheModule2.2 ApplicationCacheService2.3 InstanceCach...

weixin_39925031的博客 122

电子电器架构 --- OEM企标中规定ECU启动时间的目的

电子电器架构 --- OEM企标中规定ECU启动时间的目的

Soly_kun的博客 225

SkyWalking 源码分析 —— Collector 初始化

1. 概述 本文主要分享SkyWalking Collector 启动初始化的过程。在分享的过程中,我们会简单介绍 Collector 每个模块及其用途。 ps :Collector 是 SkyWalking 的 Server 端。整体如下图 : FROMhttps://github.com/apache/incubating-skywalking 2. CollectorBootStartUp org.skywalking.apm.collector.boot.CollectorBo..

weixin_42073629的博客 494

YOLOv11改进 | Conv篇 | AKConv轻量级架构下的高效检测(附代码 + 修改方法 + 二次创新)

本文给大家带来的改进内容是AKConv是一种创新的变核卷积,它旨在解决标准卷积操作中的固有缺陷(采样形状是固定的),AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状,能够使用任意数量的参数(如1, 2, 3, 4, 5, 6, 7等)来提取特征,这在标准卷积和可变形卷积中并未实现​​。AKConv能够根据硬件环境,使卷积参数的数量呈线性增减非常适用于轻量化模型的读者)。

Snu77的博客 1万+

改进的U-Net在视网膜血管分割上的应用

为了提高算法在血管边界的分割能力,在编码部分采用全局卷积网络(GCN)和边界细化(BR)替换传统的卷积层;在跳跃连接部分引入改进的位置注意模块(PA)和通道注意模块(CA),目的是增加血管与背景之间的对比度,使网络更好地将血管与背景分割开;此外,为了提高网络的性能,在编码部分的最后一层使用密集卷积网络解决网络过拟合问题,同时为了在一定程度上解决梯度爆炸、梯度消失的问题,在解码部分的每一层使用卷积长短记忆网络提升网络获取特征信息的能力。替换传统的卷积操作来解决血管边界非血管像素误分为血管的问题。

weixin_70923796的博客 785

Skywalking数据存储消费方式

一、背景 Skywalking在进行链路追踪时,会不断生成数据,这些数据先缓存在本地,然后异步批量上报。产生数据的一方为生产者,获取数据并上报为消费者。下面简单介绍一下Skywywalking的数据存储于消费的设计。 二、Skywalking数据存储、消费方式 Skywalking的数据存储及上报的逻辑在类DataCarrier中实现,DataCarrier的定义如下: public class DataCarrier<T> { /** * buffer 大小

bao2901203013的专栏 1335

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

SkyWalking 源码分析 —— Collector 接收 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第三部分】SkyWalking Collector 接收 Trace 数据。 友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本.

weixin_42073629的博客 645

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

系统优化查询:SkyWalking排查

减少了数据库调用次数:通过批量查询和,减少了对数据库的交互次数。提高了代码可读性:将条件设置和数据处理逻辑进行了清晰的分离。SQL查询的简化:合并了一些JOIN,并消除了不必要的复杂性。

流楚丶格念的博客 970

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【SkyWalking】分布式环境下的链路追踪技术

分布式环境下的链路追踪技术skywalking

xuxuxux123的博客 2946

SkyWalking 源码分析 —— Collector Cluster 集群管理

本文深入解析了Apache SkyWalking Collector集群管理模块的核心设计,主要涵盖以下方面:1)采用去中心化架构,通过ClusterModule等核心组件实现节点协调;2)详细剖析了基于ZooKeeper的集群协调机制,包括节点注册发现流程;3)阐述了动态服务发现、多种负载均衡策略(轮询/加权)的实现;4)介绍了健康检查机制(心跳/TCP检测)和自动故障恢复功能;5)分析了集群状态同步和分布式一致性保障方案。该系统通过模块化设计、完善的协调机制和多种容错策略,实现了高可用、可扩展的分布式集

油墨香^-^的博客 865

解决服务器启动中出现“Cache data was lost...”报错的问题

在服务器管理和维护过程中,遇到启动时出现“Cache data was lost...”的错误提示可能会让人感到困惑和焦虑。本文将深入探讨导致“Cache data was lost...”报错的可能原因,并提供一系列详细的解决方案,帮助你快速诊断和修复该问题。无论你是IT管理员还是技术支持人员,都能从本文中获得实用的操作指南,确保你的服务器能够恢复正常运行并保持高可用性。让我们一起来了解如何有效地应对这一常见的服务器启动问题,保障业务的连续性和稳定性。

famous_pengfei的博客 738

SkyWalking仪表盘使用

skywalking仪表盘使用

lmz的博客 2560

SkyWalking相关问题及答案(2024)

Apache SkyWalking是一款功能丰富的APM(应用程序性能管理)工具,它特别适合用于微服务和分布式系统的监控。它可帮助开发和运维团队通过可视化数据去理解他们系统的行为,监控系统健康,以及在出现问题时提供快速故障排除的能力。随着分布式架构变得更加流行,SkyWalking等工具在现代软件开发和运维中扮演着至关重要的角色。2、SkyWalking的主要特点是什么?Apache SkyWalking 是一款全面的应用性能监控和管理系统,强调对分布式应用和微服务架构的支援。

qq_43012298的博客 2762
上一篇: 聊聊前后端分离接口规范
下一篇: 重新认识一个强大的 Gson ,从一个线上 BUG 说起
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值