自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1582)
  • 资源 (2)
  • 收藏
  • 关注

原创 高通跃龙IQ-9075开发板上的QAI AppBuilder实践(2):用QAI AppBuilder跑ResNet50

在高通跃龙IQ-9075 EVK上,通过QAI AppBuilder WebUI实现ResNet50模型在NPU上的推理。Hexa Agent完成环境自检、模型部署与对比演示,报告NPU加速比达31.4×,但独立复测显示实际加速比为11–15×,差异源于CPU侧性能评估偏高。原始数据来自bench_result.json,验证了NPU路径正确性,揭示了工具链中依赖冲突与结果归因问题,强调需以实测数据为准。

2026-11-05 11:19:23 209

原创 高通跃龙IQ-9075开发板上的QAI AppBuilder实践(1):从零部署QAI AppBuilder

在高通跃龙IQ-9075 EVK开发板(Ubuntu 24.04,aarch64)上,通过SSH与RDP远程部署QAI AppBuilder。利用Windows版QAIRT包内嵌的Linux aarch64产物,省去板端2GB下载。采用厂商预装的gnome-remote-desktop系统服务实现无头远程桌面,解决绿屏、凭据不生效等问题。推理环境通过pip安装qai_appbuilder,复用本地已下载依赖,加速部署。关键发现:DNS间歇性失败导致登录超时;RDP凭据需重启服务才生效;bin/aarch64

2026-11-05 10:45:23 311

原创 高通跃龙IQ-9075 EVK端侧性能拆解(2): 启动链路耗时拆解与优化

本文针对高通IQ-9075 EVK平台在Ubuntu 24.04.4下启动时间长达76秒的问题,通过串口日志、systemd-analyze和initcall_debug等工具全链路分析,定位瓶颈。优化前主要耗时来自NetworkManager-wait-online.service(60秒超时),其依赖链阻塞了gdm与cloud-init。通过systemctl mask该服务,启动时间降至16秒(降幅79%)。同时发现kernel阶段音频DSP驱动snd_q6apm initcall占2秒(35%),但

2026-11-05 09:54:14 288

原创 高通跃龙IQ-9075 EVK端侧性能拆解(1): MobileNetV3-Small INT8量化精度与层级cycles拆解

在高通跃龙IQ-9075 EVK上,对CIFAR-10上训练的MobileNetV3-Small进行w8a8量化,结果显示:INT8量化精度基本无损(top-1达85.45%,优于板上FP32的84.85%),且per-channel量化未带来可测性能提升;加速主要来自卷积层,但HVX耗时大头在HardSwish/Relu等激活层。模型体积压缩显著,但per-channel增加29%存储开销无实际收益,适用于通道权重分布差异大的场景。

2026-11-05 09:34:54 429

原创 高通智能多媒体SDK 2.0工程化实战(4): 微服务化与事件流实践

本文聚焦从QIMSDK Demo到产品落地的五大关键挑战:服务拆分、最小闭环搭建、资源规划、可观测性与灰度升级。提出三层微服务架构(推理/分析/平台),以数据契约解耦,实现模型与业务独立演进;通过工业安全监测实战,展示基于Kafka/MQTT的边缘事件流处理;强调容器化部署中设备挂载、共享内存、IPC等关键参数配置,并建立标准化事件Schema,确保可追溯、可回滚、可运维,真正实现AI能力的稳定落地。

2026-10-29 09:10:38 303

原创 高通智能多媒体SDK 2.0工程化实战(3): Agentic Skills实测与提示词工程

本文剖析AI生成音视频代码的三大典型翻车场景:属性名虚构、tee后缺queue致死锁、CMake链接顺序错误。核心问题在于模型缺乏SDK底层细节知识。通过引入qimsdk-agentic-skills——将文档与代码同步的“技能说明书”,实现运行时知识注入,显著提升生成正确率。该技能库分三套产物(Python/C++/gst-launch),每套对应不同抽象层级,配套能力描述、API约定、示例与常见错误,形成可校验、可迭代的约束体系,真正实现“用文档约束AI”。

2026-10-29 09:00:00 424

原创 高通智能多媒体SDK 2.0工程化实战(2): QNN/ONNX Runtime/TFLite三大推理后端选型

本文以同一检测模型、同一条摄像头管线为基准,横向对比 QAIRT/QNN、ONNX Runtime、TFLite 在高通跃龙平台上的接入成本、精度损失与性能表现。基于 QIMSDK 的运行时抽象设计,仅需替换推理插件配置即可实现三者无缝切换,大幅降低迁移成本。通过标准化的 BYOM 六步流程(导出、优化、量化、编译等),提供可复现的部署方案,并强调校准集真实性、配置可追溯性等关键细节,助力开发者根据模型特性与团队资源做出最优选型。

2026-10-29 08:45:00 348

原创 高通智能多媒体SDK 2.0工程化实战(1): GStreamer数据通路与多流调度

本文剖析多路视频推理中常见的延迟与掉帧问题,揭示其根源在于数据流在GStreamer管线中的内存拷贝与线程调度瓶颈。以高通跃龙平台为例,指出“零拷贝”在qtimlvconverter环节断裂,因格式转换、归一化等操作需重写内存;queue虽缓解掉帧却引入200ms延迟,本质是缓冲队列累积所致。关键在于理解各节点的caps(内存类型)、是否拷贝及线程模型,唯有下潜至GStreamer运行时层,才能精准定位问题,实现从“碰运气”到“有依据”的优化。

2026-10-29 08:30:00 591

原创 Qt Onboard开发套件实战(4): 边缘AI应用

本文详解Qt Onboard FactoryPulse的边缘AI架构,聚焦多模型协同的端侧智能应用。通过Genie库实现大模型推理与RAG检索,结合ONNX Runtime进行TTS语音合成,依托Hexagon HTP硬件加速,构建从语音输入到语音回复的完整闭环。实战演示了基于Qt的语音AI助手开发流程,涵盖环境验证、项目结构设计与核心组件封装,展现离线、高效、安全的边缘AI能力。

2026-10-22 10:45:06 111

原创 Qt Onboard开发套件实战(3): 多媒体与摄像头集成

本文介绍FactoryPulse方案中Qt Onboard对高通跃龙IQ-9075的多媒体优化,通过替换PulseAudio为ALSA、集成GStreamer插件及定制USB摄像头驱动,实现低延迟、轻量级的音视频处理。基于GStreamer与Qt Multimedia框架,实战演示了视频播放、音频输入输出及摄像头采集全流程,涵盖环境配置、管线测试与Qt Quick应用开发,助力边缘AI场景下多媒体能力高效落地。

2026-10-22 10:35:48 147

原创 Qt Onboard开发套件实战(2): Qt Creator交叉编译与一键部署实战

本文基于Qt Creator与Qt Onboard IQ-9075开发板,详解从项目创建到远程部署调试的全流程。通过配置交叉编译套件,实现一键编译、SFTP部署与GDB远程调试,高效完成Qt Quick应用开发。实战中构建了带设备信息展示的仪表盘界面,验证了跨平台开发的便捷性与可靠性,显著提升嵌入式开发效率。

2026-10-21 11:22:41 290

原创 Qt Onboard开发套件实战(1): 环境搭建全攻略

本文为Qt Onboard开发套件系列首篇,聚焦高通跃龙IQ-9075 EVK的快速环境搭建。通过申请90天评估许可,使用Qt Online Installer安装预配置QBSP,实现分钟级完成工具链与系统镜像部署。结合balenaEtcher烧录镜像至SD卡,启动开发板并获取IP后,通过Qt Creator自动发现设备,完成SDK配置与连接验证,彻底跳过Yocto复杂流程,高效开启边缘AI应用开发。

2026-10-21 11:14:19 401

原创 在骁龙X2 Elite上实现端侧图像去模糊(3): 视频去抖动与实时管线效果对比

解决方案三帧滑窗导致前 2 帧无法处理缓冲不足前 2 帧使用单帧去模糊,第 3 帧起使用时序模式光流计算在快速运动场景中失败Farneback 光流对大位移不鲁棒加入金字塔层级搜索,最大位移从 15 像素提升至 60 像素时序融合后边缘变软时序先验平均了高频细节alpha 设为 0.8,保留 80% 的去模糊结果GPU 编码帧率不稳定编码器初始化未设置固定码率设置 CBR 模式,码率固定为 8 Mbps实现基于光流的时序去模糊,帧间 PSNR 波动降低 74%

2026-10-15 10:11:53 183

原创 在骁龙X2 Elite上实现端侧图像去模糊(2): 多尺度特征融合与自适应模糊核估计

该模型采用三阶段渐进式恢复,每个阶段在不同尺度上处理,NPU 推理 15 ms,非均匀模糊 PSNR 达 25.8 dB。MPRNet 在非均匀模糊场景下 PSNR 提升 4.6 dB,多尺度融合对非均匀模糊的适应能力显著优于单尺度方案。非均匀模糊的核心难点在于:模糊核在空间上变化,单一模型难以同时处理所有模糊模式。(图像不同区域模糊程度不同)处理效果有限——例如前景物体清晰而背景模糊,或图像左侧模糊重于右侧。非均匀模糊场景下 MPRNet 的提升尤为显著,验证了多尺度特征融合的有效性。

2026-10-15 10:10:48 458

原创 在骁龙X2 Elite上实现端侧图像去模糊(1): DeblurGAN模型端侧部署与运动模糊去除

传统去模糊算法(维纳滤波、Richardson-Lucy)需已知模糊核,但实际场景中模糊核未知且空间变化,传统方法难以实用。基于 GAN 的去模糊方案通过对抗训练学习模糊到清晰的映射,无需已知模糊核,在真实场景中效果显著。该模型基于 MobileNet 主干,参数量较 DeblurGAN-v1 减少 27%,PSNR 反而提升 1.5 dB,NPU 推理 22 ms,是精度与速度的最优平衡点。实测:对手抖导致的运动模糊照片执行去模糊,处理后文字与边缘清晰度恢复显著。

2026-10-15 10:09:11 81

原创 在骁龙X2 Elite上实现端侧低光照图像增强(3): 视频流实时增强管线与效果对比

本文构建了端侧视频流实时增强管线,融合Zero-DCE与DnCNN-S实现低光照增强与去噪(总延迟50ms,实测24FPS)。针对帧间闪烁问题,提出基于光流的时序平滑算法,使亮度波动降低76%-84%,主观闪烁基本消除。通过GPU解码、NPU加速、CPU时序处理的异构流水线设计,实现高效实时处理。量化结果显示,完整管线在保持22.6dB PSNR的同时显著提升暗部细节与视觉一致性,验证了系统在真实场景下的有效性与实用性。

2026-10-15 09:11:44 227 1

原创 在骁龙X2 Elite上实现端侧低光照图像增强(2): 噪声抑制与细节还原的联合优化

第一篇完成了 Zero-DCE 模型的端侧部署,NPU 推理延迟 8 ms,PSNR 从 8.2 dB 提升至 20.1 dB。但在高 ISO 低光照场景下,Zero-DCE 增亮的同时放大了噪声——增强后的图像在暗部区域出现明显的颗粒感与色彩噪点,影响视觉质量与下游检测任务。本篇的核心目标是实现噪声抑制与细节还原的联合优化,使增强后的图像在亮度提升的同时保持低噪声与高清晰度。NPU 推理 15 ms,与 Zero-DCE 的 8 ms 合计 23 ms,仍满足 30 FPS 实时需求。

2026-10-12 11:23:07 279

原创 在骁龙X2 Elite上实现端侧低光照图像增强(1): Zero-DCE模型端侧部署与实时增强

Zero-DCE 不直接生成增强图像,而是预测一组曲线参数,通过曲线映射对原图执行增强,这种间接增强方式使模型体积极小且推理极快。Snapdragon X2 Elite 的 80 TOPS Hexagon NPU 具备持续推理不降频的特性,32 GB 统一内存可承载增强模型,为端侧实时低光照增强提供了硬件基础。当前增强链路已能显著提升低光照图像亮度,但在高 ISO 场景下增强后噪声明显放大。实测验证:对一张夜景照片执行增强,增强后图像亮度提升显著,暗部细节恢复清晰,色彩无明显失真。为模型预测的曲线参数。

2026-10-12 11:20:51 547

原创 高通跃龙IQ-9075上w8a8与w8a16的精度实测

在高通跃龙IQ-9075平台实测显示,将激活位宽从8-bit提升至16-bit(w8a16)对精度影响微乎其微:cosine相似度、MAE及argmax一致率均无显著差异,主因是权重仍为8-bit且校准范围受限。时延方面,加速器执行周期增加30%(28k→36k),单帧时延上升约17μs,但整体端到端性能基本持平。量化链路中四类坑点需注意:DLC输出非C++源码、rpc_control_latency必须为整数、context binary自动存于output/子目录、profiling符号链接失效。结论:

2026-10-08 16:34:59 284

原创 高通平台实测情况分享(3): UFS读写时延

存储是最容易测出误导性数字的部件:同一块盘,走文件系统还是裸设备,4K 随机写能差五倍;换一个块层调度器,随机读掉三分之一;再过一层加密,又是一截。两台设备跑完,最大的收获是不同的测试方法和一份能复用的基线方法。实测的两台设备 UFS 栈同参数、同工具测试:• 第五代骁龙8至尊版(SM8850)(Micron 512GB,UFS 4.0)。• 高通跃龙IQ-9075 EVK(Micron 128GB,UFS 3.1)。

2026-10-08 16:21:18 325

原创 高通平台实测情况分享(2): 温控cpufreq

本文对比实测高通骁龙8至尊版(SM8850)与跃龙IQ-9075 EVK在相同负载下的温控降频表现。尽管两设备均运行于纯浮点压测,但因散热差异(密闭壳体 vs. 开放散热)及功耗策略不同,结果迥异:IQ-9075全核满载120秒无降频,温度仅升至45.5°C;而SM8850在13秒内大核即从4.4GHz降至2.67GHz,降幅达39%-45%,峰值温度达97.7°C。分析表明,降频由用户态温控服务(thermal-engine-v2)提前干预所致,非内核trip触发。结论:在高功耗芯片上,必须区分“冷机首帧

2026-09-30 13:53:01 369

原创 高通平台实测情况分享(1): 设备树

本文对比测试了高通QCS9075开发板(Ubuntu 24.04)与SM8850参考机(Android 16)在设备树绑定、驱动匹配及deferred probe方面的差异。结果显示:前者117个节点未绑定,且无deferred记录,表明为兼容性不匹配;后者虽有600个已绑定设备,但存在3个依赖未就绪的deferred节点,主因是电源管理子系统依赖链未完成。两台设备揭示了不同镜像环境下驱动加载的关键差异——“未绑定”可能源于驱动缺失或依赖等待,需结合sysfs与debugfs综合判断。

2026-09-30 13:51:57 458

原创 深化高通Linux开发(5): 多设备协同开发

本文聚焦高通嵌入式Linux在工业机器人、智能相机与ROS系统中的多设备协同开发,剖析单机方案的物理瓶颈,提出主从架构设计:以主节点为全局时间源与编排中心,从节点本地闭环控制,确保实时性与容错。通过TSN、ROS2 DDS、CAN-FD等多通道协同通信,结合五项核心原则(如控制回路下沉、单一时间源),实现跨设备数据同步与可靠通信,验证主节点非性能瓶颈,为复杂工业场景提供可落地的边缘协同解决方案。

2026-09-24 11:47:32 285

原创 深化高通Linux开发(4): 系统日志与故障诊断

本文聚焦高通嵌入式Linux在工业机器人、智能相机等场景下的日志与故障诊断实战,针对无人值守、故障复现难、存储寿命有限及多核异构等挑战,构建五层日志架构。重点解析高通平台跨核日志采集难点,强调ADSP/CDSP等子系统日志需通过GLINK/QMI等专用通道获取,并详解内核环形缓冲调优、pstore/ramoops崩溃转储配置与现场读取方法,确保断网或冷复位下仍可保留事故现场,实现5分钟内根因定位,满足工业级可靠性与功能安全要求。

2026-09-24 11:12:21 373

原创 深化高通Linux开发(3): 嵌入式安全加固开发

本文聚焦高通嵌入式Linux在工业机器人、智能相机与ROS场景下的安全实战,构建以威胁模型为基础的防护体系。针对物理接触、网络渗透、供应链攻击与运维滥用四大风险,提出“完整性优先于机密性”的核心原则,并依托高通平台硬件信任根(PBL/QFPROM)、可信启动链与TrustZone,实现从熔丝烧录到系统运行的全链路安全。通过AVB2.0签名校验、dm-verity块级校验及dm-crypt/LUKS2数据加密,确保固件与业务数据防篡改、防泄露。强调安全机制需兼顾实时性,关键环节如密钥管理、OTA更新与日志审计

2026-09-24 10:59:57 408

原创 深化高通Linux开发(2): 工业以太网与实时性优化

本文系统探讨工业以太网实时性优化,聚焦TSN与Linux硬实时改造。指出工业控制核心需求是抖动可控与确定性,而非平均延迟。通用Linux因优先级反转、中断处理等机制导致最坏延迟达毫秒级,无法满足1ms周期要求。基于高通IQ9双域架构(应用域+实时安全域),提出三种部署方案,推荐双域分工以发挥硬件优势。重点介绍主线内核6.12起原生支持PREEMPT_RT,通过开启关键配置项、CPU隔离、线程化中断及电源管理优化,可将延迟降至20–60µs,实现工业级实时性能。

2026-09-24 10:36:31 582

原创 深化高通Linux开发(1): Hexagon DSP并行开发

在高通边缘平台实现60fps智能相机与1kHz力控等高实时性场景时,主CPU被预处理任务占满,NPU空转成瓶颈。本文提出将图像降噪、传感器滤波、坐标解算、CAN解析等高频预处理下沉至Hexagon cDSP的HVX向量单元,利用其1024-bit宽指令、定点高效计算与VTCM高速缓存,实现算力解放。通过三原则(高算术强度、数据并行、可定点化)筛选任务,明确区分APSS、cDSP、NPU、aDSP分工,显著降低延迟抖动,提升系统整体实时性与能效。

2026-09-24 10:04:11 502

原创 在骁龙X2 Elite上实现端侧实时目标追踪与行为识别(2): 行为识别与联合管线集成

本文基于骁龙X2 Elite平台,扩展ByteTrack多目标追踪系统至行为识别。通过部署YOLOv8n-Pose提取人体骨架,结合ST-GCN模型实现30帧/秒的实时行为分类,支持摔倒、挥手等60类动作识别,并集成告警机制。全链路在NPU与CPU协同下完成,推理延迟可控,实现“谁在做什么”的端侧智能感知。

2026-09-17 09:00:00 675

原创 在骁龙X2 Elite上实现端侧实时目标追踪与行为识别(1): ByteTrack端侧部署与多目标跟踪

本文基于骁龙X2 Elite平台,实现端侧实时多目标追踪系统。利用Adreno GPU硬件解码视频流,YOLOv8n模型在80 TOPS Hexagon NPU上完成检测(18ms延迟),结合ByteTrack算法在Oryon CPU上进行轨迹关联。通过高分与低分检测框两阶段匹配,有效减少轨迹断裂。系统整体端到端延迟低于50ms,满足20 FPS以上实时性要求,为安防、监控等场景提供高效、低延迟的本地化追踪解决方案。

2026-09-17 08:45:00 149

原创 在骁龙X2 Elite上实现端侧多模态文档理解(2): 表格结构识别与结构化JSON导出

完成 TableFormer 的 QNN 转换与 INT8 量化部署,NPU 推理延迟 65 ms实现单元格裁剪、OCR 内容提取与行列归属判定支持单元格列表与行列矩阵两种 JSON 导出模式含 3 个表格的文档端到端延迟 573 ms,表格 TEDS 达 0.87。

2026-09-11 15:27:06 108

原创 在骁龙X2 Elite上实现端侧多模态文档理解(1): LayoutLMv3量化部署与文档树构建

传统 OCR 仅能提取文字内容,无法理解文档的版面结构:标题、正文、表格、图片之间的层次关系全部丢失。多模态文档理解的核心能力在于:不仅要识别文字,更要理解每个文字块在文档中的角色与位置关系,从而完整还原文档的逻辑结构。Snapdragon X2 Elite 的 80 TOPS Hexagon NPU 具备持续推理不降频的特性,32 GB 统一内存可承载版面分析模型与 OCR 模型的联合部署,为端侧多模态文档理解提供了硬件基础。版面分析的输入是 OCR 提取的文字和边界框,输出是每个文字区域的类别。

2026-09-11 15:24:48 386

原创 踩坑实录:Windows上QAIRT SDK本地编译环境搭建全攻略

在Windows上使用QAIRT SDK编译LLM模型需应对多重兼容性问题。核心挑战包括:Python 3.10与3.11的ABI不兼容,需分设虚拟环境;NumPy 2.x导致.pyd模块加载失败,须锁定为1.26.4;ONNX 1.17移除mapping模块,需手动补回TENSOR_TYPE_MAP;islpy缺失但非必需,可忽略或安装;临时目录默认在C盘致空间不足,应指定D盘路径;控制台乱码由GBK编码引发,建议切换至UTF-8。此外,QAIRT 2.35存在FP16精度Bug,影响rms_norm层编

2026-09-10 11:07:39 351

原创 高通跃龙IQ-9075端侧多模态脱敏工作台搭建(3): 端到端验证与取舍

本文为系列第三篇,完成文本与图片脱敏链路的端到端验证。通过固定输入测试,确认本地7B NER与YOLO-World/YuNet在HTP上推理数值可信,无类别翻转;像素差分显示脱敏范围精准,无误伤。性能对比表明,虽YuNet HTP加速显著,但因后处理依赖cv2且收益有限,最终未切换生产路径。记录三项已知约束:车牌检测能力边界、长文本截断、Einsum未分解。结论:非所有模型上NPU均划算,需权衡收益与重构成本。

2026-09-10 10:16:50 682

原创 高通跃龙IQ-9075端侧多模态脱敏工作台搭建(2): 模型转高通HTP

本文详解高通HTP上YOLO-World与YuNet模型的NPU部署实践。针对不同转换路径:YOLO-World因Einsum算子不支持跳过DLC转换,直接使用ONNX+ONNX Runtime QNN EP;YuNet则通过QAIRT工具链完成DLC→context binary全流程。重点记录了numpy 2.x引发的形状推断异常等关键坑点,强调环境一致性与版本兼容性的重要性。全链路命令实测可用,为边缘侧AI推理提供可复现的落地方案。

2026-09-10 10:07:05 322

原创 高通跃龙IQ-9075端侧多模态脱敏工作台搭建(1): 项目由来与全服务部署

本文介绍Privacy-Shield项目在高通跃龙IQ-9075端侧的部署实践,旨在实现文本、图片、文档的本地化隐私脱敏。基于数据不出设备的核心需求,项目将NER、目标检测与人脸识别等推理链全部运行于端侧,复用已有Genie-server服务,并部署本地LLM适配层、YOLO-World检测服务及自定义渲染模块。全链路基于Ubuntu 24.04/aarch64环境,通过实测命令完成模型转换、依赖安装与服务部署,确保敏感信息处理全程可控、可追溯。

2026-09-10 09:57:43 396

原创 第二代骁龙XR2+平台的XR应用开发实战(8): 端侧AI大模型赋能XR空间智能

篇章主题核心技术一硬件架构与开发环境XR2+ SoC、五大处理单元、SDK配置二6DoF追踪与SLAMVIO、IMU预积分、ESKF、空间锚点三Passthrough与MRVST透视、虚实遮挡、平面检测、空间网格、光照估计四空间音频HRTF、双耳渲染、混响、DSP加速、音频遮挡五手势与眼动21关键点、手势识别、注视点渲染、眼动交互六渲染优化MTP延迟、ATW/ASW、VRS、Single-Pass、帧时序七OpenXR标准。

2026-09-01 10:51:01 241

原创 第二代骁龙XR2+平台的XR应用开发实战(7): OpenXR标准与Unity/Unreal开发实战

核心对象帧循环:WaitFrame→BeginFrame→PollEvent→LocateViews→渲染→EndFrameAction输入:抽象的"动作"概念,无需关心具体控制器Extension机制:通过扩展访问平台特有功能(手势、眼动、透视等)Unity集成跨平台:一次开发,Quest/PICO/SteamVR/Windows MR多端部署下一篇(系列最终篇)我们将探讨XR端侧AI大模型融合,实现具备空间智能的XR Agent。

2026-09-01 10:50:36 316

原创 第二代骁龙XR2+平台的XR应用开发实战(6): 渲染优化与Motion-to-Photon低延迟技术

XR体验最大的杀手不是分辨率不够高,不是画面不够精美,而是延迟。当用户转动头部,画面必须在20ms内跟上,否则就会晕动症。Motion-to-Photon(MTP)延迟是衡量XR设备和应用的核心指标。MTP延迟拆解:本文深入解析XR渲染优化的全套技术栈,从ATW/ASW到VRS、从Single-Pass渲染到帧时序管理。ATW(Asynchronous Time Warp,异步时间扭曲):ASW(Asynchronous Space Warp,异步空间扭曲)

2026-09-01 10:50:10 476

原创 第二代骁龙XR2+平台的XR应用开发实战(5): 手势识别与眼动追踪交互开发

手部追踪:21点3D关键点、NPU推理<3ms、捏合/指向/抓取/张开四种基础手势射线交互:食指射线+捏合选择,接近真实手操作体验注视点渲染:利用人眼视觉特性,GPU负载降低50-70%眼动交互:注视选中+捏合确认,最自然的交互方式多模态融合:眼动瞄准+手势操作+音频反馈下一篇我们将进入XR渲染优化领域,详解Motion-to-Photon延迟优化和ATW/ASW技术。

2026-09-01 10:49:32 269

原创 第二代骁龙XR2+平台的XR应用开发实战(4): 空间音频与3D音效开发实战

空间音频是XR沉浸感不可或缺的一半。HRTF原理:头相关传递函数、方位角/仰角/距离三维定位音频渲染管线:距离模型→HRTF卷积→混响→遮挡→双耳渲染→头部追踪核心算法实现:HRTF滤波器、Schroeder混响器、空间音频渲染引擎Unity实战:AudioSource配置、3D音频对象池、音频遮挡性能优化:声源数量限制、距离裁剪、DSP硬件加速骁龙XR2+的Hexagon DSP可以同时处理32+个空间声源,CPU零占用,端到端延迟<5ms,为沉浸式XR音频体验提供了强大的硬件支撑。

2026-08-26 11:20:54 368

Hetcompute image processing example (1).docx

对基于Hetcompute的ImageProcessingDemo.cc的实现过程进行介绍,它实现了CPU、GPU、DSP分别对同一照片进行处理,并返回各个模块所需的时间和最终结果。

2019-07-31

Hetcompute image processing example (2).docx

对基于Hetcompute的ParallelTaskDependencyDemo.cc的实现过程进行介绍,它实现了CPU、GPU、DSP协同工作对同一照片进行处理,并返回所需时间和最终结果。

2019-07-31

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除