链路追踪 SkyWalking 源码分析 —— Collector Storage 存储组件

基于51单片机语音识别智能台灯设计 智能台灯;语音识别;STC89C52RC单片机 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-storage-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版

  • 1. 概述

  • 2. apm-collector-core

  • 3. collector-storage-define

  • 4. collector-storage-h2-provider

  • 5. collector-storage-es-provider


1. 概述

本文主要分享 SkyWalking Collector Storage 存储组件。顾名思义,负责将调用链路、应用、应用实例等等信息存储到存储器,例如,ES 、H2 。

友情提示:建议先阅读 《SkyWalking 源码分析 —— Collector 初始化》 ,以了解 Collector 组件体系。

FROM https://github.com/apache/incubating-skywalking 

下面我们来看看整体的项目结构,如下图所示 :

  • apm-collector-core 的 data 和 define 包 :数据的抽象。

  • collector-storage-define :定义存储组件接口。

  • collector-storage-h2-provider :基于 H2 的 存储组件实现。该实现是单机版,建议仅用于 SkyWalking 快速上手,生产环境不建议使用。

  • collector-storage-es-provider :基于 Elasticsearch 的集群管理实现。生产环境推荐使用。

下面,我们从接口到实现的顺序进行分享。

2. apm-collector-core

apm-collector-core 的 data 和 define 包,如下图所示:

我们对类进行梳理分类,如下图:

  • Table :Data 和 TableDefine 之间的桥梁,每个 Table 定义了该表的表名,字段名们。

  • TableDefine :Table 的详细定义,包括表名,字段定义( ColumnDefine )们。在下文中,StorageInstaller 会基于 TableDefine 初始化表的相关信息。

  • Data :数据,包括一条数据的数据值们和数据字段( Column )们。在下文中,Dao 会存储 Data 到存储器中。另外,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》 中,我们也会看到对 Data 的流式处理通用封装。

2.1 Table

org.skywalking.apm.collector.core.data.CommonTable ,通用表。

  • `TABLE_TYPE` 静态属性,表类型。目前只有 ES 存储组件使用到,下文详细解析。

  • `COLUMN_` 前缀的静态属性,通用的字段名。

在 collector-storage-define 的 table 包下,我们可以看到所有 Table 类,以 "Table" 结尾。每个 Table 的表名,在每个实现类里,例如 ApplicationTable 。

2.2 TableDefine

org.skywalking.apm.collector.core.data.TableDefine ,表定义抽象类。

  • `name` 属性,表名。

  • `columnDefines` 属性,ColumnDefine数组。

  • `#initialize()` 抽象方法,初始化表定义。例如:ApplicationEsTableDefine 。

不同的存储组件实现,有不同的 TableDefine 实现类,如下图:

  • ElasticSearchTableDefine :基于 Elasticsearch 的表定义抽象类,在 collector-storage-es-provider 的 define 包下,我们可以看到所有 ES 的 TableDefine 类。

  • H2TableDefine :基于 H2 的表定义抽象类,在 collector-storage-h2-provider 的 `define` 包下,我们可以看到所有 H2 的 TableDefine 类。

2.2.1 ColumnDefine

org.skywalking.apm.collector.core.data.ColumnDefine ,字段定义抽象类。

  • `name` 属性,字段名。

  • `type` 属性,字段类型。

在 collector-storage-xxx-provider 模块中,H2ColumnDefine 、ElasticSearchColumnDefine 实现 ColumnDefine 。

2.2.2 Loader

涉及到的类如下图所示:

org.skywalking.apm.collector.core.data.StorageDefineLoader ,调用 org.skywalking.apm.collector.core.define.DefinitionLoader ,从 org.skywalking.apm.collector.core.data.StorageDefinitionFile 中,加载 TableDefine 实现类数组。

另外,在 collector-storage-es-provider 和 collector-storage-h2-provider 里都有 storage.define 文件,如下图:

  • StorageDefinitionFile 声明了读取该文件。

  • 注意,DefinitionLoader 在加载时,两个文件都会被读取,最终在 StorageInstaller#defineFilter(List) 方法,进行过滤。

代码比较简单,中文注释已加,胖友自己阅读理解下。

2.3 Data

org.skywalking.apm.collector.core.data.Data ,数据抽象类。

  • [dataXXX]() 前缀的属性,字段值们。

    • `dataStrings` 属性的第一位,是 ID 属性。参见 构造方法的【第 51 行】 或者 `#setId(id)` 方法。

  • [xxxColumns]() 后缀的属性,字段( Column )们。

  • 通过上述两种属性 + 自身类,可以确定一条数据记录的表、字段类型、字段名、字段值。

  • 继承 `org.skywalking.apm.collector.core.data.EndOfBatchQueueMessage` ,带是否消息批处理的最后一条标记的消息抽象类,`endOfBatch` 属性,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)》「3. AggregationWorker」 详细解析。

    • 继承 `org.skywalking.apm.collector.core.data.AbstractHashMessage` ,带哈希码的消息抽象类,`hashCode` 属性,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)》「3. AggregationWorker」 详细解析。

  • `#mergeData(Data)` 方法,合并传入的数据到自身。该方法被 `AggregationWorker#aggregate(message)` 调用,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)》「3. AggregationWorker」 详细解析。

在 collector-storage-define 的 table 包下,我们可以看到所有 Data 类,非 "Table" 结尾,例如 Application 。

2.3.1 Column

org.skywalking.apm.collector.core.data.Column ,字段。

  • `name` 属性,字段名。

  • `operation` 属性,操作( Operation )。

2.3.2 Operation

org.skywalking.apm.collector.core.data.Operation ,操作接口。用于两个值之间的操作,例如,相加等等。目前实现类有:

  • AddOperation :值相加操作。

  • CoverOperation :值覆盖操作,即以新值为返回。

  • NonOperation :空操作,即以老值为返回。

3. collector-storage-define

collector-cluster-define :定义存储组件接口。项目结构如下 :

3.1 StorageModule

org.skywalking.apm.collector.storage.StorageModule ,实现 Module 抽象类,集群管理 Module 。

#name() 实现方法,返回模块名为 "storage" 。

#services() 实现方法,返回 Service 类名:在 org.skywalking.apm.collector.storage.dao 包下的所有类 和 IBatchDAO。

3.2 table 包

在 org.skywalking.apm.collector.storage.table 包下,定义了存储模块所有的 Table 和 Data 实现类。

3.3 StorageInstaller

org.skywalking.apm.collector.storage.StorageInstaller ,存储安装器抽象类,基于 TableDefine ,初始化存储组件的表。

  • `#defineFilter(List)` 抽象方法,过滤 TableDefine 数组中,非自身需要的。例如说,ElasticSearchStorageInstaller 过滤后,只保留 ElasticSearchTableDefine 对象。

  • `#isExists(Client, TableDefine)` 抽象方法,判断表是否存在。

  • `#deleteTable(Client, TableDefine)` 抽象方法,删除表。

  • `#createTable(Client, TableDefine)` 抽象方法,创建表。

  • `#install(Client)` 方法,基于 TableDefine ,初始化存储组件的表。

    • 该方法会被 StorageModuleH2Provider 或 StorageModuleEsProvider 启动时调用。

3.4 dao 包

在 collector-storage-define 项目结构图,我们看到一共有两个 bao 包:

  • org.skywalking.apm.collector.storage.base.dao ,系统的 DAO 接口。

  • org.skywalking.apm.collector.storage.dao ,业务的 DAO 接口。

    • 继承系统的 DAO 接口。

    • 被 `collector-storage-xxx-provider` 的 `dao` 包实现。

3.4.1 系统 DAO

org.skywalking.apm.collector.storage.base.dao.DAO ,继承 Service 接口,DAO 接口。

无任何方法。

3.4.1.1 AbstractDAO

org.skywalking.apm.collector.storage.base.dao.AbstractDAO ,实现 DAO 接口,DAO 抽象基类。

  • `client` 属性,数据操作客户端。例如,H2Client 、ElasticSearchClient 。

在 collector-storage-xxx-provider 模块中,H2DAO 、EsDAO 实现 AbstractDAO 。

3.4.1.2 IPersistenceDAO

org.skywalking.apm.collector.storage.base.dao.IPersistenceDAO ,实现 DAO 接口,持久化 DAO 接口,定义了 Data 的增删改查操作。

  • `#get(id)` 接口方法,根据 ID 查询一条 Data 。

  • `#deleteHistory(startTimestamp, endTimestamp)` 接口方法,删除时间范围内的 Data 们。

  • `#prepareBatchInsert(data)` 接口方法,准备批量插入操作对象。例如:`CpuMetricEsPersistenceDAO#prepareBatchInsert(CpuMetric)` 方法,返回的是 org.elasticsearch.action.index.IndexRequestBuilder 对象。注意:

    • 该方法不会发起具体的 DAO 操作,仅仅是创建插入操作对象,最终的执行在 `IBatchDAO#batchPersistence(List)`。

    • 该方法创建的是批量插入操作对象们中的一个。

  • `#prepareBatchUpdate(data)` 接口方法,准备批量更新操作对象。类似 #prepareBatchInsert(data)方法。

3.4.1.3 IBatchDAO

org.skywalking.apm.collector.storage.base.dao.IBatchDAO ,实现 DAO 接口,批量操作 DAO 接口。

  • `#batchPersistence(List batchCollection)` 接口方法,通过执行批量操作对象数组,实现批量持久化数据。

    • `batchCollection` 方法参数,通过 `IPersistenceDAO#prepareBatchInsert` 或 `IPersistenceDAO#prepareBatchUpdate` 方法,生成每个操作数组元素。

    • 该方法会被 `PersistenceTimer#extractDataAndSave(…)` 或 `PersistenceWorker#onWork(…)` 方法调用,在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)》「4. PersistenceWorker」 详细解析。

在 collector-storage-xxx-provider 模块中,BatchH2DAO 、BatchEsDAO 实现 IBatchDAO 。

3.4.2 业务 DAO

在 StorageModule#services() 方法里,我们可以看到,业务 DAO 按照用途可以拆分成四种:

  • Cache :缓存应用、应用实例、服务名

  • Register :注册应用、应用实例、服务名

  • Persistence :持久化,实际可以理解成批量持久化

  • UI :SkyWaling UI 查询使用。

那么整理如下:

PackageDataCache / RegisterPersistenceUI关联文章
registerApplication√


registerInstance√√√
registerServiceName√


jvmCpuMetric
√√
jvmCMetric
√√
jvmMemoryMetric
√√
jvmMemoryPoolMetric
√√
globalGlobalTrace
√√
instanceInstPerformance
√√
nodeNodeComponent
√√
nodeNodeMapping
√√
noderefNodeReference
√√
segmentSegmentCost
√√
segmentSegment
√√
serviceServiceEntry
√√
servicerefServiceReference
√√

4. collector-storage-h2-provider

collector-storage-h2-provider ,基于 H2 的存储组件实现。项目结构如下 :

该实现是单机版,建议仅用于 SkyWalking 快速上手,生产环境不建议使用。

由于生产环境主要使用 ES 的存储组件实现,所以本文暂不解析相关实现,感兴趣的胖友自己嗨起来。

5. collector-storage-es-provider

collector-storage-es-provider ,基于 ES 的存储组件实现。项目结构如下 :

实际使用时,通过 application.yml 配置如下:

JSON storage: elasticsearch: cluster_name: elasticsearch cluster_transport_sniffer: true cluster_nodes: 127.0.0.1:9300 index_shards_number: 2 index_replicas_number: 0 ttl: 7

  • 生产环境下,推荐 Elasticsearch 配置成集群。

  • cluster_name 、cluster_transport_sniffer 、cluster_nodes 、index_shards_number 、index_replicas_number 参数,Elasticsearch 相关参数。

  • ttl :保留 N 天内的数据。超过 N 天的数据,将被自动滚动删除。

    • 该功能目前版本暂未发布,需要等到 5.0 版本后。

  • 《部署集群collector》

5.1 StorageModuleEsProvider

org.skywalking.apm.collector.storage.es.StorageModuleEsProvider ,实现 ModuleProvider抽象类,基于 ES 的存储组件服务提供者。

#name() 实现方法,返回组件服务提供者名为 "elasticsearch" 。

module() 实现方法,返回组件类为 StorageModule 。

#requiredModules() 实现方法,返回依赖组件为 "cluster" 。


#prepare(Properties) 实现方法,执行准备阶段逻辑。

  • 第 71 至 75 行 :创建 `org.skywalking.apm.collector.client.elasticsearch.ElasticSearchClient` 对象。

  • 第 77 至 82 行 :创建 DAO 对象们,并调用 #registerServiceImplementation() 父类方法,注册到 services 。

#start() 实现方法,执行启动阶段逻辑。

  • 第 90 行 :调用 ElasticSearchClient#initialize() 方法,初始化 ZookeeperClient 。

  • 第 93 至 94 行 :创建 ElasticSearchStorageInstaller 对象,初始化存储组件的表。在 「5.2.4 ElasticSearchStorageInstaller」 详细解析。

  • 第 100 至 102 行 :创建 `org.skywalking.apm.collector.storage.es.StorageModuleEsRegistration` 对象,并注册信息到集群管理。在 《SkyWalking 源码分析 —— Collector Cluster 集群管理》 有详细解析。

  • 第 105 至 107 行 :创建 `org.skywalking.apm.collector.storage.es.StorageModuleEsNamingListener`对象,并注册信息到集群管理。在 《SkyWalking 源码分析 —— Collector Cluster 集群管理》 有详细解析。

  • 第 110 至 111 行 :创建 DataTTLKeeperTimer 对象。在 「5.4 DataTTLKeeperTimer」 详细解析。

#notifyAfterCompleted() 实现方法,执行启动完成逻辑。

  • 第 115 行 :调用 DataTTLKeeperTimer#start() 方法,启动 DataTTLKeeperTimer 。在本文 「5.4 DataTTLKeeperTimer」 详细解析。

5.2 define 包

在 collector-storage-es-provider 项目结构图,我们看到一共有两个 define 包:

  • org.skywalking.apm.collector.storage.es.base.define ,系统的 TableDefine 抽象类。

  • org.skywalking.apm.collector.storage.es.define ,业务的 TableDefine 实现类。

    • 继承系统的 TableDefine 抽象类。

5.2.1 ElasticSearchTableDefine

org.skywalking.apm.collector.storage.es.base.define.ElasticSearchTableDefine ,实现 TableDefine 接口,基于 Elasticsearch 的表定义抽象类。

  • `#type()` 方法,文档元数据 _type 字段,参见 《Elasticsearch学习笔记》「_type」 。

  • `#refreshInterval()` 抽象方法,文档索引刷新频率,参见 《Elasticsearch: 权威指南 » 基础入门 » 分片内部原理 » 近实时搜索》「refresh API」。

5.2.2 ElasticSearchColumnDefine

org.skywalking.apm.collector.storage.es.base.define.ElasticSearchColumnDefine ,实现 ColumnDefine 抽象类,基于 ES 的字段定义。

  • Type 枚举类:枚举 ES 字段类型。

5.2.3 业务 TableDefine 实现类

在 org.apache.skywalking.apm.collector.storage.es.define 包里,我们可以看到,所有基于 ES 的业务 TableDefine 实现类。例如:ApplicationEsTableDefine 。

整体 #refreshInterval() 方法返回的结果如下:

  • 1 s

    • CpuMetricEsTableDefine

    • GCMetricEsTableDefine

    • MemoryMetricEsTableDefine

    • MemoryPoolMetricEsTableDefine

  • 2 s

    • InstPerformanceEsTableDefine

    • NodeComponentEsTableDefine

    • NodeMappingEsTableDefine

    • NodeReferenceEsTableDefine

    • ServiceEntryEsTableDefine

    • ServiceReferenceEsTableDefine

  • 2 s && WriteRequest.RefreshPolicy.IMMEDIATE

    • 【WriteRequest.RefreshPolicy.IMMEDIATE】参见 `ApplicationEsRegisterDAO#save(Application)` 方法

    • ApplicationEsTableDefine

    • InstanceEsTableDefine

    • ServiceNameEsTableDefine

  • 5 s

    • GlobalTraceEsTableDefine

    • SegmentCostEsTableDefine

  • 10 s

    • SegmentEsTableDefine

5.2.4 ElasticSearchStorageInstaller

友情提示:ElasticSearchStorageInstaller 主要是对 Elasticsearch Java API 的使用,所以不熟悉的胖友,可以 Google 下。

org.skywalking.apm.collector.storage.es.base.define.ElasticSearchStorageInstaller,实现 StorageInstaller 抽象类, 基于 ES 存储安装器实现类。

  • `#defineFilter(List)` 实现方法,过滤数组中,非 ElasticSearchTableDefine 的元素。

  • `#createTable(Client, TableDefine)` 实现方法,创建 Elasticsearch 索引。

    • SkyWalking 彭勇升 :`_index`和 `_type` 是 ES 特有的,考虑其他数据库接入,所以没有用他这个特性。

    • SkyWalking QQ交流群( 392443393 ) ,小心 群友 :`_type` 本来就没做物理隔离,Lucene 层面也不存在,ES 6.x 已经废弃了。

    • 《Elasticsearch 6.0 将移除 Type》

    • `_id` :数据编号,String 类型。

    • `_type` :`"type"` 。

    • `_index` :TableDefine 定义的表名。

    • `source` :Data 数据。

    • 文档数据结构如下:

    • 了解 Elasticsearch 的胖友可能有和笔者一样的疑惑,网络上很多文章把 `_index` 类比成关系数据库的 DB ,`_type` 类比成关系数据库的 Table ,和 SkyWalking 目前使用的方式不一致?

  • `#deleteTable(Client, TableDefine)` 实现方法,删除 Elasticsearch 索引。

  • `#isExists(Client, TableDefine)` 实现方法,判断 Elasticsearch 索引是否存在。

  • 在方法里,笔者添加了一些 API 的说明,不熟悉的胖友,可以仔细阅读理解。

5.3 dao 包

在 collector-storage-es-provider 项目结构图,我们看到一共有两个 dao 包:

  • org.skywalking.apm.collector.storage.es.base.dao ,系统的 DAO 抽象类。

  • org.skywalking.apm.collector.storage.es.dao ,业务的 DAO 实现类。

    • 继承系统的 DAO 抽象类。

5.3.1 EsDAO

org.skywalking.apm.collector.storage.es.base.dao.EsDAO ,实现 AbstractDAO 抽象类,基于 ES 的 DAO 抽象类。

  • `#getMaxId(indexName, columnName)` 方法,获得索引名的指定字段的最大值。

  • `#getMinId(indexName, columnName)` 方法,获得索引名的指定字段的最小值。

5.3.2 BatchEsDAO

org.skywalking.apm.collector.storage.es.base.dao.BatchEsDAO ,实现 IBatchDAO 接口,继承 EsDAO 抽象类,基于 ES 批量操作 DAO 实现类。

  • `#batchPersistence(List)` 实现方法,将 org.elasticsearch.action.index.IndexRequestBuilder 和 org.elasticsearch.action.index.UpdateRequestBuilder 数组,创建成 org.elasticsearch.action.bulk.BulkRequestBuilder 对象,批量持久化。

    • IndexRequestBuilder 和 UpdateRequestBuilder 的创建,在 「5.3.3 业务 DAO 实现类」 会看到。

5.3.3 业务 DAO 实现类

在 org.apache.skywalking.apm.collector.storage.es.dao 包里,我们可以看到,所有基于 ES 的业务 DAO 实现类。

实现代码易懂,胖友可以自己阅读。良心如我们,按照 DAO 的业务用途,推荐例子如下:

  • Cache :ApplicationEsCacheDAO

  • Register :ApplicationEsRegisterDAO

  • Persistence :SegmentEsPersistenceDAO

    • 此处可见 IndexRequestBuilder 和 UpdateRequestBuilder 的创建。

  • UI :SegmentEsUIDAO

5.4 DataTTLKeeperTimer

org.skywalking.apm.collector.storage.es.DataTTLKeeperTimer ,过期数据删除定时器。通过该定时器,只保留 N 天内的数据。

  • `#start()` 方法,启动定时任务。

    • 第 49 行:创建延迟 1 小时,每 8 小时执行一次 `#delete()` 方法的定时任务。目前该行代码被注释,胖友可以等待 SkyWallking 5.0 版本的发布。

  • `#delete()` 方法,删除过期数据。

    • 第 54 至 66 行:计算删除的开始与结束时间,即指定时间的前一天。例如,2017-12-23 执行时,删除 2017-12-16 那天的数据。

    • 第 69 行:调用 `#deleteJVMRelatedData(startTimestamp, endTimestamp)` 方法,删除 JVM 相关的数据。

    • 第 70 行:调用 `#deleteTraceRelatedData(startTimestamp, endTimestamp)` 方法,删除 Trace 相关的数据。

如下是不会删除的数据的表:

  • Application

  • Instance

  • ServiceName

  • ServiceEntry



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

手游功耗优化:从猜想到硬核实测 功耗本质是“硬件在吃电”,要看电流/功率曲线,而不是只看帧率和温度;定量 = 有数字、有曲线、有对比能说“降了 15%”、“峰值从 7W 降到 5.5W”,而不是“我感觉凉快点”;工具方面:大厂会用外接功率仪 + 手机/芯片厂内部平台;平时也会用 Android/iOS/引擎自带的工具做趋势分析;流程上:选典型机型和场景 → 跑脚本采集 → 对齐 Profiler 数据 → 分析 CPU/GPU/网络谁在吃电;再通过版本对比、画质/帧率组合测试,指导配置和优化。这是一个。 阅读详情

相关推荐

VisionPro 9.0 QuickBuild里用C#脚本调用Halcon 23.11模型,保姆级图文配置流程

本文详细介绍了如何在VisionPro 9.0 QuickBuild环境中使用C#脚本调用Halcon 23.11深度学习模型,提供从环境配置到模型集成的保姆级图文教程。重点解决图像格式转换、许可证配置等工业视觉检测中的常见问题,帮助开发者快速实现高效、稳定的视觉检测流水线部署。

weixin_27027459的博客 439

Skywalking收集与发送链路数据部分源码解析

转载:https://www.jianshu.com/p/a84c4522c187 链路收集大体逻辑 这里先不分析skywalking是如何自动收集数据的,而是说一下agent在收集后如何存储与发送给collector,这部分的架构关系到性能开销与对服务的影响 大体逻辑如下: agent内部缓存维护了一个生产消费者,收集数据时将生产的数据按分区放到缓存中,消费者用多线程消费数据,将缓...

架构师的成长之路的博客 2476

Arduino--土壤湿度传感器使用(电阻式)

最近买了一个土壤湿度检测传感器,实物图是这样的: 我买这个模块是想要得到土壤湿度的模拟量。但我买的时候忘了买左边的蓝色模块,我开始以为这个模块是有运放功能的,但实际它是一个电压比较器和一个分压电路。 其模块的接线如图: 该模块的四线是带模拟量输出的,三线的只输出一个到达阈值的标志量。该模块的原理图如下: 该模块的测试原理为:把土壤当成一个可变电阻,随着土壤含水量的增加,土壤电阻减小。而该传感器其实就是两个电极,用来接土壤这个可变电阻。一般湿度的土壤电阻大概在几百K左右,其串连的分压电阻应该在这个数量级。

weixin_41866783的博客 1万+

skywalking架构剖析

1、segment类关系 2、agent加载过程 3、agent发送数据到存储过程

CAO的专栏 2444

【雷达信号处理实战】从原理到代码:脉冲多普勒(PD)处理全流程解析与MATLAB仿真

本文深入解析了脉冲多普勒(PD)雷达信号处理的核心原理与全流程。通过剖析多普勒效应、脉冲压缩与慢时间FFT等关键技术,并结合详细的MATLAB仿真代码,手把手指导如何从信号建模、回波模拟到最终生成距离-多普勒谱,实现运动目标的精确测距与测速,直观展示了相参积累带来的显著性能增益。

pca5navigator的博客 960

高通跃龙QCS6490部署yolov11_obb实战:QNN SDK工具链全解析与避坑指南

本文详细解析了在高通跃龙QCS6490平台上部署yolov11_obb模型的实战过程,重点介绍了QNN SDK工具链的使用与优化技巧。从环境配置、模型转换到性能调优,提供了全面的避坑指南和DSP加速配置建议,帮助开发者高效实现旋转框检测任务在边缘设备上的部署。

weixin_29232121的博客 307

skyWalking自动建表-逻辑梳理

使用skyWalking后,发现我们不需要创建表,启动skywalking会自动创建表,遂研究官方源码,感觉oap-server设计的自动建表功能很强大,并进行逻辑梳理,仅供参考。源码地址:https://github.com/apache/skywalking.git。

vampire_Violet的博客 1037

Pulseaudio之同步/异步(十一)

PulseAudio是一个声音服务器,一个后台进程从一个或多个音源(进程或输入设备)接受声音输入 然后重定向声音到一个或多个槽(声卡,远程网络PulseAudio服务,或其他进程)。 PulseAudio的主要特点包括: 可对每一个应用程序进行音量控制Per-application volume controls 可扩展的插件与支持可装载模块架构 兼容性许多流行的音频应用程序 支持多重音源和多重输出 低延时操作和支持延迟测量 一个对处理器资源效率零拷贝内存架构 能够发现本地网络上使用PulseAu

Android系统攻城狮 1004

Skywalking的存储配置与调优

作为一款APM和全链路监控平台,Skywalking算是挺出色的。Skywalking是APM监控平台的后起之秀,大有超越其他开源APM监控平台的趋势。它通过探针自动收集所需的指标,并进行分布式追踪。通过这些调用链路以及指标,Skywalking APM会感知应用间关系和服务间关系,并进行相应的指标统计。 目前Skywalking支持h2、mysql、Elastic...

smooth的博客 3万+

C++怎么学?零基础也可以,一份完整学习路线图助你搞定!

提供一条清晰、系统且实践导向的C++学习路径。从基础语法、面向对象、泛型编程、异常处理,逐步深入STL、智能指针、并发编程等现代C++高级特性。无论是新手还是希望提升,通过系统学习与项目实践,助您将理论知识转化为实际解决问题的能力。

Lion_Long的博客 4033

基于matlab的CNN食物识别分类系统,matlab深度学习分类,训练+数据集+界面

饮食在人们的日常生活、营养与医疗建议以及运动员等专业人士的训练上起着越来越重要的作用。随着互联网的发展和医学的进步,人们普遍上传分享和记录的食物图像形成了非常多的数据库,为了改善饮食结构,塑造更健康的生活方式,分析食物的种类、热量和进食时间成为了营养学上非常重要的研究方法,本文的使用深度学习算法可以根据用户上传的食物图像自动分析食物种类。深度学习是机器学习领域的一个研究方向。深度学习通过对数据特征的学习将原始数据转化为计算机可以理解的抽象数据,根据学习到的特征,可以对原始数据进行检测或分类。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 4726

skywalking使用方法_链路追踪 SkyWalking 源码分析 —— Collector Storage 存储组件

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-storage-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. apm-collector-core3. collector-storage-define4. collector-storage-h2-provider5...

weixin_39757040的博客 406

SAP 费用化采购订单简介

费用性采购的核心特点费用性采购的流程费用性采购的优势适用场景业务场景前台操作1、创建成本中心---KS012、创建采购订单---ME21N3、采购订单审批---ME29N4、采购订单收货---MIGO5、查看成本中心费用---S_ALR_870136116、控制费用化的采购订单自动带出科目和成本中心SAP费用性采购(Expense Procurement)指的是企业在采购过程中,直接将采购的物料或服务成本计入费用科目,而不是记入库存账户的采购行为。

我小时候很黑的博客 2016

skywalking 安装_链路追踪 SkyWalking 源码分析——Collector Storage 存储组件

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-storage-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. apm-collector-core3. collector-storage-define4. collector-storage-h2-provider5...

weixin_39759107的博客 114

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

从 agent.config 到 ES:拆解 SkyWalking 数据流动的每一步(附源码 + 实验)

文章摘要: 本文深入解析了SkyWalking全链路监控系统的数据流动过程,通过实验验证了从Agent采集到Elasticsearch存储的完整链路。主要内容包括: 搭建了一个由三个Spring Boot服务组成的Demo环境,演示了请求从网关到后端服务的完整调用链路追踪过程。 详细拆解了SkyWalking三大组件(Agent、OAP、UI)的协同工作原理,包括通信协议和端口分工。 通过七项实验验证了数据采集→传输→解析→存储→查询→展示的全流程透明性,确认了系统可靠性和可扩展性。

qq_59357573的博客 606

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

SpringCloud: skywalking部署(MySQL存储)

1.下载压缩包,解压: https://archive.apache.org/dist/skywalking/8.7.0/apache-skywalking-apm-es7-8.7.0.tar.gz 修改配置文件config/application.yml,改为Mysql, 修改ip地址和用户名密码, 创建数据库. 2.拷贝MySQL驱动.ar包到oap-libs子目录 3.进入skywalking目录的bin子目录,执行./startup.sh 4.浏览http://ip:8080,效果示意图: 5

amadeus_liu2的博客 1208

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【后端-SkyWalking】SkyWalking6.x工程项目源码目录结构分析(二)

上一节SkyWalking前后端开发环境搭建见: https://blog.youkuaiyun.com/lc1025082182/article/details/106214680

Ric的博客 1686

skywalking功能介绍

请求接口后查看skywalking,可以看到有一个请求,响应时间为1852ms,性能指数Apdex为0.5。可以看到数据库的处理能力——数据库的吞吐能力、SQL 的执行时间百分比,以及哪些 SQL 慢。可以看到显示有一个slow endpoints,就是我请求的这个接口。我这里结构比较简单,就是用户发送请求到应用,应用与mysql数据库交互。这个没有单独配置,是用了mysql数据库,自己显示了这个监控。追踪功能,可以看到一个请求被拆分成了哪些子请求。也可以直接点开trace模块看。也可以看到JVM信息。

seanyang_的博客 1166

链路追踪工具skywalking

当用户的请求进入系统后,处在RPC调用网络的第一层A时spanId初始值是0,进入下一层RPC调用B的时候spanId是0.1,继续进入下一层RPC调用C时spanId是0.1.1,而与B处在同一层的RPC调用E的spanId是0.2,这样的话通过spanId就可以定位某一次RPC请求在系统调用中所处的位置,以及它的上下游依赖分别是谁。·随着分布式系统和微服务架构的出现,一次用户的请求会经过多个系统,不同服务之间的调用关系十分复杂,任何一个系统出错都可能影响整个请求的处理结果。

qq_38331730的博客 2961

skywalking mysql配置_SkyWalking 后端服务存储配置

版本:7.0.0描述采集的数据需要存储,提供给相关人员查看系统调用链路信息,因此需要配置存储项。一般在本地尝鲜可以使用默认的h2数据库。可以很快的部署SkyWalking服务,体验相关功能。开发环境可以使用MySQL数据库。测试和生产环境建议使用elasticsearch。配置在application.yml里面,配置storage模块。具体配置项如下:selector:存储选择器elastics...

weixin_33268725的博客 1250

SkyWalking快速上手(三)——架构剖析2

SkyWalking快速上手(二)——架构剖析1SkyWalking是一个开源的分布式系统追踪、监控和诊断工具,它能够帮助开发人员和运维人员实时监控和诊断分布式系统的性能问题。本文将深入剖析SkyWalking的架构,并介绍其核心组件中UI和Storage组件的及其功能。在SkyWalking分布式系统监控工具中,UI组件是用于展示和查询监控数据的用户界面。它提供了一个直观且易于使用的界面,帮助用户实时了解分布式系统的性能、健康状况以及请求链路的追踪情况。

杨思默 5706

企业级监控项目Skywalking详细介绍,来看看呀

一个优秀的项目,除了具有高拓展的架构、高性能的方案、高质量的代码之外,还应该在上线后具备多角度的监控功能。现在企业中的监控服务也有很多,Skywalking除了提供多维度、多粒度的监控之外,也提供了良好的图形化界面以及性能剖析、服务报警等多种功能,备受很多企业的青睐。因此侯哥今天给大家通过一篇文章,来详细地给大家介绍Skywalking。1.1 什么是Skywalking?Skywalking是一款分布式的系统性能监视工具,专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。

一一哥 3万+

SkyWalking jvm指标采集与存储

1. 概述 本文主要分享SkyWalking JVM 指标的收集与存储。大体流程如下: Agent 每秒定时收集 JVM 指标到缓冲队列。 Agent 每秒定时将缓冲队列的 JVM 指标发送到 Collector 。 Collector 接收到 JVM 指标,异步批量存储到存储器( 例如,ES )。 目前 JVM 指标包括四个维度: CPU Memory MemoryPool G...

dw147258dw的专栏 8278

SkyWalking 概念与设计总览

SkyWalking 是什么? 探针 后台 UI

风清若淡的博客 2002

链路追踪( Skyworking )

skywalking 是一个优秀的国产开源APM组件,是一个对 Java 分布式应用程序集群的业务运行情况进行追踪、告警和分析的系统。2015年由个人吴晟开源 , 2017年加入Apache孵化器。短短两年就被Apache收入麾下,实力可见一斑。skywalking 支持 SpringBoot、SpringCloud、dubbo 集成,代码无侵入,通信方式采用 GRPC,性能较好,实现方式是 Java 探针,支持告警,支持JVM监控,支持全局调用统计等等,功能较完善。

m0_73467713的博客 3万+

搞懂SkyWalking(40张图)

从图中可以看出我们只采用了 SkyWalking 的 agent 来进行采样,放弃了另外的「数据上报及分析」,「数据存储」,「数据可视化」三大组件,那为啥不直接采用 SkyWalking 的整套解决方案呢,因为在接入 SkyWalking 之前我们的 Marvin 监控生态体系已经相对比较完善了,如果把其整个替换成 SkyWalking,一来没有必要,Marvin 在大多数场景下都能满足我们的需求,二来系统替换成本高,三来如果重新接入用户学习成本很高。对于技术方案的选型,一定要避免过度设计,过犹不及。

zhangjunli的博客 3117
上一篇: 一次非常有意思的 SQL 优化经历:从 30248.271s 到 0.001s
下一篇: 别在 Java 代码里乱打日志了,这才是正确的打日志姿势!
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值