分布式链路追踪 SkyWalking 源码分析 —— Collector Remote 远程通信服务

支付宝资深架构师的分布式追踪 & APM 系统 SkyWalking 源码分析— DataCarrier 异步处理库 1. 概述本文主要分享 SkyWalking DataCarrier 异步处理库。基于生产者消费者的模式,大体结构如下图:实际项目中,没有 Producer 这个类。所以本文提到的 Producer ,更多的是一种角色。下面我们来看看整体的项目结构,如下图所示 :2. bufferorg.skywalking.apm.commons.datacarrier.buffer 包,主要包含 Channe... 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/collector-remote-module/ 「芋道源码」欢迎转载,保留摘要,谢谢!

本文主要基于 SkyWalking 3.2.6 正式版

  • 1. 概述

  • 2. collector-remote-define

    • 2.1 RemoteModule

    • 2.2 RemoteSenderService

    • 2.3 RemoteClientService

    • 2.4 RemoteClient

    • 2.5 CommonRemoteDataRegisterService

    • 2.6 RemoteSerializeService

    • 2.7 RemoteSerializeService

  • 3. collector-remote-grpc-provider

    • 3.1 RemoteModuleGRPCProvider

    • 3.2 GRPCRemoteSenderService

    • 3.3 GRPCRemoteClientService

    • 3.4 GRPCRemoteClient

    • 3.5 RemoteCommonServiceHandler

    • 3.6 GRPCRemoteSerializeService

    • 3.7 GRPCRemoteDeserializeService

  • 4. collector-remote-grpc-provider


1. 概述

本文主要分享 SkyWalking Collector Remote 远程通信服务。该服务用于 Collector 集群内部通信。

目前集群内部通信的目的,跨节点的流式处理。Remote Module 应用在 SkyWalking 架构图如下位置( 红框 ) :

FROM https://github.com/apache/incubating-skywalking

下面我们来看看整体的项目结构,如下图所示 :

  • collector-remote-define :定义远程通信接口。

  • collector-remote-kafka-provider :基于 Kafka 的远程通信实现。目前暂未完成。

  • collector-remote-grpc-provider :基于 Google gRPC 的远程通信实现。生产环境目前使用

下面,我们从接口到实现的顺序进行分享。

2. collector-remote-define

collector-remote-define :定义远程通信接口。项目结构如下 :

整体流程如下图:

我们按照整个流程的处理顺序,逐个解析涉及到的类与接口。

2.1 RemoteModule

org.skywalking.apm.collector.remote.RemoteModule ,实现 Module 抽象类,远程通信 Module 。

#name() 实现方法,返回模块名为 "remote" 。

#services() 实现方法,返回 Service 类名:RemoteSenderService 、RemoteDataRegisterService 。

2.2 RemoteSenderService

org.skywalking.apm.collector.remote.service.RemoteSenderService ,继承 Service 接口,远程发送服务接口,定义了 #send(graphId, nodeId, data, selector) 接口方法,调用 RemoteClient ,发送数据。

  • graphId 方法参数,Graph 编号。通过 graphId ,可以查找到对应的 Graph 对象。

    • Graph 在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》「2. apm-collector-core/graph」 有详细解析。

  • nodeId 方法参数,Worker 编号。通过 workerId ,可以查找在 Graph 对象中的 Worker 对象,从而 Graph 中的流式处理。

    • Worker 在 《SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(一)》「3. apm-collector-stream」 有详细解析。

  • data 方法参数,Data 数据对象。例如,流式处理的具体数据对象。

    • Data 在 《SkyWalking 源码分析 —— Collector Storage 存储组件》「2. apm-collector-core」 有详细解析。

  • selector 方法参数,org.skywalking.apm.collector.remote.service.Selector 选择器对象。根据 Selector 对象,使用对应的负载均衡策略,选择集群内的 Collector 节点,发送数据。

  • RemoteSenderService.Mode 返回值,发送模式分成 Remote 和 Local 两种方式。前者,发送数据到远程的 Collector 节点;后者,发送数据到本地,即本地处理,参见 RemoteWorkerRef#in(message) 方法。

2.3 RemoteClientService

org.skywalking.apm.collector.remote.service.RemoteClientService ,继承 Service 接口,远程客户端服务接口,定义了 #create(host, port, channelSize, bufferSize) 接口方法,创建 RemoteClient 对象。

2.4 RemoteClient

org.skywalking.apm.collector.remote.service.RemoteClient ,继承 java.lang.Comparable 接口,远程客户端接口。定义了如下接口方法:

  • #push(graphId, nodeId, data, selector) 接口方法,发送数据。

  • #getAddress() 接口方法,返回客户端连接的远程 Collector 地址。

  • #equals(address) 接口方法,判断 RemoteClient 是否连接了指定的地址。

2.5 CommonRemoteDataRegisterService

在说 CommonRemoteDataRegisterService 之前,首先来说下 CommonRemoteDataRegisterService 的意图。

在上文中,我们可以看到发送给 Collector 是 Data 对象,而 Data 是数据的抽象类,在具体反序列化 Data 对象之前,程序是无法得知它是 Data 的哪个实现对象。这个时候,我们可以给 Data 对象的每个实现类,生成一个对应的数据协议编号。

  • 在发送数据之前,序列化 Data 对象时,增加该 Data 对应的协议编号,一起发送。

  • 在接收数据之后,反序列化数据时,根据协议编号,创建 Data 对应的实现类对象。

org.skywalking.apm.collector.remote.service.CommonRemoteDataRegisterService ,通用远程数据注册服务。

  • id 属性,数据协议自增编号。

  • dataClassMapping 属性,数据类型( Class<? extends Data> )与数据协议编号的映射。

  • dataInstanceCreatorMapping 属性,数据协议编号与数据对象创建器( RemoteDataInstanceCreator )的映射。

2.5.1 RemoteDataRegisterService

org.skywalking.apm.collector.remote.service.RemoteDataRegisterService ,继承 Service 接口,远程客户端服务接口,定义了 #register(Class<? extends Data>, RemoteDataInstanceCreator) 接口方法,注册数据类型对应的远程数据创建器( RemoteDataRegisterService.RemoteDataInstanceCreator )对象。

CommonRemoteDataRegisterService 实现了 RemoteDataRegisterService 接口,#register(Class<? extends Data>, RemoteDataInstanceCreator) 实现方法。

另外,AgentStreamRemoteDataRegister 会调用 RemoteDataRegisterService#register(Class<? extends Data>, RemoteDataInstanceCreator) 方法,注册每个数据类型的 RemoteDataInstanceCreator 对象。注意,例如 Application::new 是 RemoteDataInstanceCreator 的匿名实现类。

2.5.2 RemoteDataIDGetter

org.skywalking.apm.collector.remote.service.RemoteDataIDGetter ,继承 Service 接口,远程数据协议编号获取器接口,定义了 #getRemoteDataId(Class<? extends Data>) 接口方法,根据数据类型获取数据协议编号。

CommonRemoteDataRegisterService 实现了 RemoteDataIDGetter 接口,#getRemoteDataId(Class<? extends Data>) 实现方法。

2.5.3 RemoteDataInstanceCreatorGetter

org.skywalking.apm.collector.remote.service.RemoteDataInstanceCreatorGetter ,继承 Service 接口,远程数据创建器的获取器接口,定义了 #getInstanceCreator(remoteDataId 接口方法,根据数据协议编号获得远程数据创建器( RemoteDataInstanceCreator )。

CommonRemoteDataRegisterService 实现了 RemoteDataInstanceCreatorGetter 接口,#getInstanceCreator(remoteDataId) 实现方法。

2.6 RemoteSerializeService

org.skywalking.apm.collector.remote.service.RemoteSerializeService ,远程通信序列化服务接口,定义了 #serialize(Data) 接口方法,序列化数据,生成 Builder 对象。

2.7 RemoteSerializeService

org.skywalking.apm.collector.remote.service.RemoteDeserializeService ,远程通信序反列化服务接口,定义了 #deserialize(RemoteData, Data) 接口方法,反序列化传输数据。

3. collector-remote-grpc-provider

collector-remote-grpc-provider ,基于 Google gRPC 的远程通信实现。

项目结构如下 :

默认配置,在 application-default.yml 已经配置如下:

remote:
gRPC:
host: localhost
port: 11800

3.1 RemoteModuleGRPCProvider

org.skywalking.apm.collector.remote.grpc.RemoteModuleGRPCProvider ,实现 ModuleProvider 抽象类,基于 gRPC 的组件服务提供者实现类。

#name() 实现方法,返回组件服务提供者名为 "gRPC" 。

module() 实现方法,返回组件类为 RemoteModule 。

#requiredModules() 实现方法,返回依赖组件为 cluster 、gRPC_manager 。


#prepare(Properties) 实现方法,执行准备阶段逻辑。

  • 第 53 至 56 行 :创建 CommonRemoteDataRegisterService 、GRPCRemoteSenderService 对象,并调用 #registerServiceImplementation() 父类方法,注册到 services 。

#start() 实现方法,执行启动阶段逻辑。

  • Server 相关

    • 第 65 行:创建 gRPC Server 对象。

    • 第 67 行:注册 RemoteCommonServiceHandler 对象到 gRPC Server 上,用于接收 gRPC 请求后的处理。

    • 《SkyWalking 源码分析 —— Collector Server Component 服务器组件》「3. gRPC 实现」

    • 《SkyWalking 源码分析 —— Collector gRPC Server Manager》

  • 注册发现相关

    • 第 70 至 71 行:创建 org.skywalking.apm.collector.remote.grpc.RemoteModuleGRPCRegistration 对象,将自己注册到集群管理。这样,自己可以被 Collector 集群节点发现,从而被调用。

    • 第 73 至 74 行:注册 GRPCRemoteSenderService 对象到集群管理。这样,自己可以监听到 Collector 集群节点的加入或离开,从而调用。

    • 《SkyWalking 源码分析 —— Collector Cluster 集群管理》

#notifyAfterCompleted() 实现方法,方法为空。

3.2 GRPCRemoteSenderService

org.skywalking.apm.collector.remote.grpc.service.GRPCRemoteSenderService ,继承 ClusterModuleListener 抽象类,实现 RemoteSenderService 接口,基于 gPRC 的远程发送服务实现类。

3.2.1 注册发现

通过继承 ClusterModuleListener 抽象类,实现了监听 Collector 集群节点的加入或离开。

  • remoteClients 属性,连接 Collector 集群节点的客户端数组。每个 Collector 集群节点,对应一个客户端。

  • #path() 实现方法,返回监听的目录 "/" + RemoteModule.NAME + "/" + RemoteModuleGRPCProvider.NAME 。Collector 集群中,每个节点的 Remote Server 都会注册到该目录下。

  • #serverJoinNotify(serverAddress) 实现方法,当新的节点加入,创建新的客户端连接。

  • #serverQuitNotify(serverAddress) 实现方法,当老的节点离开,移除对应的客户端连接。

3.2.2 负载均衡

RemoteModuleGRPCProvider 基于不同的选择器 ( Selector ) ,提供不同的客户端选择( org.skywalking.apm.collector.remote.grpc.service.selector.RemoteClientSelector )实现 :

  • hashCodeSelector 属性,HashCodeSelector ,基于数据的哈希码。

  • foreverFirstSelector 属性,ForeverFirstSelector ,基于客户端数组的顺序,选择第一个。

  • rollingSelector 属性,RollingSelector ,基于客户端数组的顺序,顺序向下选择。

  • #send(graphId, nodeId, data, selector) 方法,代码如下:

    • 第 76 至 77 行:当选择的客户端连接的是本地时,不发送数据,交给本地处理,参见 RemoteWorkerRef#in(message) 方法。

    • 第 78 至 81 行:当选择的客户端连接的是远程时,调用 RemoteClient#push(graphId, nodeId, data) 方法,发送数据。

    • 第 63 、66 、69 行:根据选择器,调用 RemoteClientSelector#select(clients, data) 方法,选择客户端。

    • 第 64 、67 、70 行:调用 #sendToRemoteWhenNotSelf(remoteClient, graphId, nodeId, data) 方法,发送请求数据。

3.3 GRPCRemoteClientService

org.skywalking.apm.collector.remote.grpc.service.GRPCRemoteClientService ,实现 RemoteClientService 接口,基于 gRPC 的远程客户端服务实现类。

#create(host, port, channelSize, bufferSize) 实现方法,创建 GRPCRemoteClient 对象。

3.4 GRPCRemoteClient

友情提示:本小节会涉及较多 gRPC 相关的知识,建议不熟悉的胖友自己 Google ,补充下姿势。

org.skywalking.apm.collector.remote.grpc.service.GRPCRemoteClient ,实现 RemoteClient 接口,基于 gRPC 的远程客户端实现类。

  • client 属性,GRPCClient 对象。相比来说,GRPCRemoteClient 偏业务的封装,内部调用 GRPCClient 对象。

  • carrier 属性,DataCarrier 对象,本地消息队列。GRPCRemoteClient 在被调用发送数据时,先提交到本地队列,异步消费进行发送到远程 Collector 节点。DataCarrier 在 《SkyWalking 源码分析 —— DataCarrier 异步处理库》 详细解析。

    • 第 63 行:调用 DataCarrier#consume(IConsumer, num) 方法,设置消费者为 RemoteMessageConsumer 对象。


#push(graphId, nodeId, data) 实现方法,异步发送消息到远程 Collector 。

  • 第 73 行:调用 RemoteDataIDGetter#getRemoteDataId(Class<? extends Data>) 方法,获得数据协议编号。

  • 第 76 至 80 行:创建传输数据( RemoteMessage.Builder ) 对象。RemoteMessage 通过 Protobuf 创建定义,如下图所示:

  • 第 83 行:调用 DataCarrier#produce(data) 方法,发送数据到本地队列。

RemoteMessageConsumer ,批量消费本地队列的数据,逐条发送数据到远程 Collector 节点。

  • #consume(List<RemoteMessage>) 实现方法,代码如下:

    • 第 100 行:创建 StreamObserver 对象。StreamObserver 主要是 gPRC 相关的 API 的调用。

    • 第 101 至 103 行:调用 io.grpc.stub.StreamObserver#onNext(RemoteMessage) 方法,逐条发送数据。

    • 第 106 行:调用 io.grpc.stub.StreamObserver#onCompleted() 方法,全部请求数据发送完成。

3.5 RemoteCommonServiceHandler

org.skywalking.apm.collector.remote.grpc.handler.RemoteCommonServiceHandler ,实现 org.skywalking.apm.collector.server.grpc.GRPCHandler 接口,继承 RemoteCommonServiceGrpc.RemoteCommonServiceImplBase 抽象类,远程通信通用逻辑处理器。

其中,RemoteCommonServiceGrpc.RemoteCommonServiceImplBase 在 RemoteCommonService.proto 文件的定义如下图:

#call(StreamObserver<Empty>) 实现方法,代码如下:

  • #onNext(RemoteMessage) 方法,处理每一条消息,代码如下:

    • 第 65 行:调用 RemoteDataInstanceCreatorGetter#getInstanceCreator(remoteDataId) 方法,获得数据协议编号对应的 RemoteDataInstanceCreator 对象。然后,调用 RemoteDataInstanceCreator#createInstance(id) 方法,创建数据协议编号对应的 Data 实现类对应的对象。

    • 第 70 行:调用 GraphManager#findGraph(graphId) 方法,获得 graphId 对应的 Graph 对象。然后,调动 GraphNodeFinder#findNext(nodeId) 方法,获得 Next 对象。

    • 第 71 行:调用 Next#execute(Data) 方法,继续流式处理。

3.6 GRPCRemoteSerializeService

org.skywalking.apm.collector.remote.grpc.service.GRPCRemoteSerializeService ,实现 RemoteSerializeService 接口,基于 gRPC 的远程通信序列化服务实现类。

3.7 GRPCRemoteDeserializeService

org.skywalking.apm.collector.remote.grpc.service.GRPCRemoteDeserializeService ,实现 GRPCRemoteDeserializeService 接口,基于 gRPC 的远程通信反序列化服务实现类。

4. collector-remote-grpc-provider

collector-remote-kafka-provider :基于 Kafka 的远程通信实现。

目前暂未完成。

TODO 【4005】collector-remote-grpc-provider



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

分布式之Skywalking Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的产品,它同时吸收了Zipkin /Pinpoint /CAT 的设计思路。特点是:支持多种插件,UI功能较强,支持非侵入式埋点。目前使用厂商最多,版本更新较快。数据存储支持:Elasticsearch、MySQL、H2、TiDB。默认是H2,而且是存到内存。实际我们一般将其存到ES。主页:http://skywalking.apache.org/ 阅读详情

相关推荐

SpringBoot教程(三十二) SpringBoot集成Skywalking链路跟踪

进入 D:apache-skywalking-apm-8.9.1apache-skywalking-apm-binin ,双击运行 startup.bat(7.x及以下版本 APM 包里面有包括 Agents,但是8.x的就发现被分开了,所以8.x的及以上的 就需要 Agents 也得下载。再看 Skywalking(http://localhost:8080/) 页面那边,你就会发现有个这个图(表示连接上了)启动后,控制台日志输出开头出现了以下的记录,就表示连接上Skywalking了。

m0_74823131的博客 1759

SkyWalking链路追踪-Collector(收集器)

SkyWalking的Collector(收集器)是SkyWalking链路追踪的核心组件之一。它负责接收来自各个Agent的追踪数据,并将其存储到数据存储器(如数据库)中。具体来说,Collector提供了一个统一的接口,用于接收和处理从Agent发送过来的数据。

阿丹的博客 1773

轻量级嵌入式MQDataCarrier.zip

DataCarrierDataCarrier 是轻量级,嵌入式,高流通量,发布订阅模式的 MQ.特点订阅式 MQ. 支持多商家与多用户。轻量级与嵌入式,jdk1.6.中的迷你Java库。高流通量, 用于 Sky-Walking APM。产生异步数据。使用简单,简洁 API. 标签:DataCarrier

Skywalking的DataCarrier

之前分析源码时经常会看到DataCarrier这个类,现在详细分析一下这个。 简单来说就是维护了一个本地的轻量级消息队列模型,主要目的为了防止收集方生成数据速度大于往后端发送数据速度造成的数据积压和生成方阻塞。 这里有几个关键类: DataCarrier 主要类型,针对内存消息队列的操作都是以这个类为入口的。 该类持有了Channels和IDriver Channels 数据通道集合,用于针对数据的存取操作。主要有以下属性: bufferChannels 数据的存取操作 dataPartitioner

vinylon的博客 1182

华为HPLC模组全拆解之电力载波收发原理分析

电力线载波通信(PLC)是一种使用电力线进行数据传输的通信技术,即利用现有电网作为信号的传输介质,使电网在传输电力的同时可以进行数据传输。目前根据所用频段的不同,低压电力线载波通信一般分为窄带电力线载波通信(10KHz~500KHz)和宽带电力线载波通信(2MHz~20MHz)。这里的频率可以简单理解为单片机串口的通信波特率,频率越小通信速度越慢,频率越大通信速度越快。为了研究电力载波通信原理,笔者以华为的一款宽带电力载波模组为例进行详细的分析,该模组主控采用的是海思芯片,型号为Hi3921EV100。

xingxingdiandeng69的博客 2万+

AUTO-DL平台快速部署BEVFormer:Nuscenes数据集完整训练避坑指南

本文详细介绍了在AUTO-DL平台高效部署BEVFormer模型并利用Nuscenes数据集进行完整训练的实战指南。重点解析了平台数据管理、环境配置、数据集迁移解压、预处理及训练启动等全流程中的关键步骤与常见避坑技巧,帮助研究者和工程师快速复现这一前沿视觉感知模型,节省云端训练时间与成本。

weixin_29188043的博客 335

分布式链路追踪 SkyWalking 源码分析 —— Agent Remote 远程通信服务

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析...

芋道源码 544

现代SerDes解剖:从CTLE/DFE到PAM4与ADC+DSP架构

高速有线通信的物理层瓶颈,正从并行总线的时钟偏斜转向串行链路的信号完整性挑战。SerDes作为解决这一问题的核心技术,其内部架构远超“并转串”的朴素认知。接收端的CTLE线性均衡与DFE判决反馈均衡,配合CDR时钟恢复,共同构成对抗信道损耗与码间干扰的关键机制。随着速率迈向56G/112G,PAM4调制以电平幅度换取带宽,而ADC+DSP架构则把均衡算法搬入数字域,实现更灵活的非线性补偿。理解这些模块如何协同工作,是调试PCIe、以太网等高速链路、优化眼图余量与抖动预算的基础,也是硬件工程师从盲目调参走向系

weixin_29194817的博客 301

grpc通信原理_分布式链路追踪 SkyWalking 源码分析 —— Agent Remote 远程通信服务...

摘要: 原创出处 http://www.iocoder.cn/SkyWalking/agent-remote-manager/ 「芋道源码」欢迎转载,保留摘要,谢谢!本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. GRPCChannelManager3. GRPCChannelListener《Netty 实现原理与源码解析 —— 精品合集》《Spring 实现原理与源码解析...

weixin_39723102的博客 656

使用Simulink设计并实现一个可调谐的二阶IIR陷波滤波器,实时去除音频中的工频噪声

《基于Simulink的音频陷波滤波器设计与实现》摘要:本文详细介绍了使用Simulink设计陷波滤波器去除音频工频噪声(如50Hz)的方法。核心内容包括:1)二阶IIR陷波滤波器的原理与传递函数;2)Simulink实现步骤(音频系统搭建、滤波器设计、频率跟踪);3)性能分析(频谱对比、时域波形、听觉测试)。通过精准消除特定频率干扰,同时保留语音信号(200Hz-4kHz),有效提升信噪比(>20dB)。文章还探讨了多陷波级联、自适应算法等高级技巧,为音频处理、语音通信等应用提供实用解决方案。

amy_mhd的博客 157

2022年灌溉试验设计与数据分析考试试题

2.表2数据为表层0~10cm的原状土离心机土壤水分特征曲线试验数据,(1)请利用R语言nls函数通过Van Genuchten方程对土壤体积含水率和土壤基质势进行拟合;(3)指明土壤基值势为-33 kPa和-1500kPa时的体积含水率。1.请根据表1数据,以灌溉模式为主区,生物炭用量为子区,利用R语言agricolae包生成裂区试验设计试验处理布置图;3.以R工具包factoextra中decathlon2数据集前10列为数据进行PCA分析,要求计算出(1)前5个主成分的特征值、特征向量;

Mrrunsen的博客 267

分布式链路追踪 SkyWalking 源码分析 —— DataCarrier 异步处理库

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析...

芋道源码 536

SAM3 几行代码支持任意图像分辨率,减少显存占用(针对transformers库)

几行代码让sam3支持任意图像分辨率

qq_41234663的博客 158

skywalking使用方法_分布式链路追踪 SkyWalking 源码分析 —— DataCarrier 异步处理库...

本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. collector-remote-define2.1 RemoteModule2.2 RemoteSenderService2.3 RemoteClientService2.4 RemoteClient2.5 CommonRemoteDataRegisterService2.6 RemoteSerializeService2.7...

weixin_39669701的博客 338

SAP ABAP Cloud 发展简史

其中用于云开发的 ABAP,官方术语是 「ABAP in the Cloud」,本文后续叙述方便起见,简称为 「ABAP Cloud」. 它涵盖了标准 ABAP 语言范围的一个子集,只能访问受限的 API,用于构建 SAP BTP ABAP 环境以及 SAP S/4HANA Cloud ABAP 环境上的云解决方案。SAP ABAP 平台是用于 SAP ECC、SAP S/4HANA 和 SAP BTP 等产品的技术平台,也是 ABAP 应用程序的开发和运行环境。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1395

Imagiq AI-PQ 图像质量增强模块详解:联发科 ISP 中的 AI 图像管线实战解析

随着智能手机影像系统对图像质量要求的持续提升,联发科在其 Imagiq ISP 中引入了 AI 驱动的图像增强模块——AI-PQ(AI-based Picture Quality),通过 AI 模型对亮度、色彩、噪声、锐度等多个维度进行动态调节与增强,实现更加智能化和个性化的图像输出效果。AI-PQ 在实际工程中已成为影响照片风格、视频观感和多模组一致性的核心能力之一。本文围绕 Imagiq 平台最新一代 AI-PQ 模块(2024-2025年量产平台为基础),结合实机开发与调优经验,深入剖析其各子模块的算

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1423

分布式链路追踪 SkyWalking 源码分析 —— 应用于应用实例的注册

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析...

芋道源码 533

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

skywalking使用kafka传输数据

skywalking使用kafka传输数据

wangshui898的专栏 5453

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

SkyWalking子项目--DataCarrier 1.0 解读

        DataCarrier作为一款轻量级的基础库,代码结果相当简单,如果通读一下代码,30-40分钟应该就能完成明确用途,这里为了方便大家更容易使用,简要介绍一下DataCarrier类库结果和使用方法。         官方的使用文档,使用英文发布在项目主页上(https://github.com/wu-sheng/DataCarrier),大家可以直接查看,并提供了相关的实例...

wusheng_1108的博客 859

SkyWalking 源码分析 —— Collector 存储 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第四部分】SkyWalking Collector 存储 Trace 数据。 友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本.

weixin_42073629的博客 1119

SkyWalking 源码分析 —— Collector 初始化

1. 概述 本文主要分享SkyWalking Collector 启动初始化的过程。在分享的过程中,我们会简单介绍 Collector 每个模块及其用途。 ps :Collector 是 SkyWalking 的 Server 端。整体如下图 : FROMhttps://github.com/apache/incubating-skywalking 2. CollectorBootStartUp org.skywalking.apm.collector.boot.CollectorBo..

weixin_42073629的博客 494

SkyWalking 源码分析 —— Collector 接收 Trace 数据

1. 概述 分布式链路追踪系统,链路的追踪大体流程如下: Agent 收集 Trace 数据。 Agent 发送 Trace 数据给 Collector 。 Collector 接收 Trace 数据。 Collector 存储 Trace 数据到存储器,例如,数据库。 本文主要分享【第三部分】SkyWalking Collector 接收 Trace 数据。 友情提示:Collector 接收到 TraceSegment 的数据,对应的类是 Protobuf 生成的。考虑到更加易读易懂,本.

weixin_42073629的博客 645

SkyWalking 源码分析 —— Collector Cluster 集群管理

本文深入解析了Apache SkyWalking Collector集群管理模块的核心设计,主要涵盖以下方面:1)采用去中心化架构,通过ClusterModule等核心组件实现节点协调;2)详细剖析了基于ZooKeeper的集群协调机制,包括节点注册发现流程;3)阐述了动态服务发现、多种负载均衡策略(轮询/加权)的实现;4)介绍了健康检查机制(心跳/TCP检测)和自动故障恢复功能;5)分析了集群状态同步和分布式一致性保障方案。该系统通过模块化设计、完善的协调机制和多种容错策略,实现了高可用、可扩展的分布式集

油墨香^-^的博客 865
上一篇: 某团面试题:JVM 堆内存溢出后,其他线程是否可继续工作?
下一篇: Spring Boot + Mybatis 多模块(module)项目的完整搭建教程
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值