深度学习计算框架综述（十三）HVX 计算优化实践—VCAP Hexagon 计算框架介绍

最新推荐文章于 2023-12-28 12:57:13 发布
最新推荐文章于 2023-12-28 12:57:13 发布
阅读量2k 收藏 4
点赞数
分类专栏： 深度学习计算框架综述 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012542087/article/details/112391302
版权
本文介绍了VCAP Hexagon DSP计算框架，它是一个针对高通DSP的高性能计算框架，简化为模型层、框架层和计算层。模型层通过vaim2bin工具实现模型转换和内存复用策略。框架层解析模型并执行内存复用，计算层使用HVX汇编优化OP计算。文章还讨论了DSP VTCM的利用和不同架构的计算策略，并对比了VCAP DSP与其他平台的性能，展示其在深度学习推理中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

架构简介：

VCAP Hexagon DSP计算框架是一个针对高通DSP的高性能计算框架，框架可以简化为三层结构：

 模型层：负责模型转换，提供了vaim2bin转换工具，通过vaim2bin将vaim模型转换成DSP param/bin模型，并计算内存复用的策略

 框架层：负责模型解析、dspCV的初始化、内存复用策略的执行、OP的计算策略

 计算层：负责计算策略的执行，使用HVX汇编对常见的OP进行了深度优化

 

针对这三层，此处再展开描述一下：

 

模型层也可以采用其他的模型格式，比如flatbuffer，protobuf，我们采用param/bin的模型格式的主要原因是，无需引入三方依赖，可有效减少SDK的体积，vaim2bin工具，在 内存复用算法设计 这篇文章中有介绍过，这篇文章主要讲的是Feature Map层级的内存复用算法，但其实也可以将这种内存复用的思想推广到模型层级甚至进程层级，这对于我们构建一个AI系统是必不可少的，我们也在推进这方面的工作。

 

框架层主要

最低0.47元/天 解锁文章
性能优化-高通cDSP（QDSP6）架构详解
发狂的小花的博客
11-09 4614
高通cDSP开发的商业价值30秒快速认识高通cDSP开发的商业价值【高通cDSP旨在处理一些简单但需要大量计算的场景，如图像处理、科学计算、AI训练、计算机视觉等。这些场景使用CPU来运算会极大的降低CPU的吞吐量，因此利用现代寄存器较宽的特性设计出了适配数据并行的DSP芯片，cDSP就是典型的代表。利用cDSP+CPU既可以满足一般的使用场景，也可以完成现代图像和视频数据的处理。
深度学习计算框架综述（十三）HVX 计算优化实践—HVX 编程基础知识
Kane的博客
01-19 3701
本节主要介绍HVX编程的基础知识以及示例代码，主要是五部分: Registers: 介绍常用的寄存器 Program Flow: 介绍程序流中常用到的循环、跳转、调用等指令 Software Stack: 介绍软件栈的结构，以及SP、FP、LR等寄存器的正确使用方法 Scalar/Vector Instructions: 介绍常用的标量和向量指令 Sample Code: 结合前三部分的内容实现的示例代码 ...
深度学习计算框架综述（十三）HVX 计算优化实践—HVX汇编技巧与经验
Kane的博客
07-11 1824
本节主要介绍HVX汇编优化常用的工具，以及我在工作中积累的经验。
深度学习计算框架综述（十三）HVX 计算优化实践—Hexagon DSP简介
Kane的博客
07-11 3600
本节，我们主要介绍一下HexagonDSP的架构：
140.深度学习分布式计算框架-3
大勇若怯任卷舒
11-22 1662
【代码】140.深度学习分布式计算框架-3。
高通DSP架构和HVX指令介绍
陌上羽
09-07 1535
主要介绍高通DSP架构和HVX指令使用的知识！！！
深度学习计算框架综述（十三）HVX 计算优化实践
Kane的博客
02-21 2381
本章主要介绍，如何用Hexagon DSP的HVX来优化Conv、Pooling等算子。
深度学习计算框架综述（十三）HVX 计算优化实践—Unsigned PD 介绍
Kane的博客
01-09 1980
如果设备已经开启了Secure Boot，可以通过Unsigned PD的方式开发Hexagon DSP的应用： Unsigned PD is a sandboxed low-rights process that allows the signature-free modules to run on the cDSP 只需要三行代码，就可以帮助开发者确定设备是否支持Unsigned PD: UNSIGNED_PD_SUPPORT Description: Check if DSP sup
深度学习计算框架综述（十三）HVX 计算优化实践—DSP 开发调试
Kane的博客
01-09 1524
Overview FARF printf Runtime FARF Introduction Enabling runtime FARF via config file Config file name Contents of the config file Enabling at process start-up Enabling runtime FARF programmatically Obtaining PID and ASID of FastRPC pro
高通 Hexagon V65 HVX 编程参考手册（3）
weixin_38498942的博客
03-09 878
高通 Hexagon V65 HVX 编程参考手册（3）
VCAP5——DCA学习笔记
09-05
VCAP 考试笔记，知识点记录。适合学习和考试用
Hexagon cDSP芯片简介
weixin_42112050的博客
08-01 6471
骁龙处理器中世界一流的Qualcomm Hexagon数字信号处理器（DSP）支持多种多媒体功能，并且经过优化可实现高性能和高能效。Hexagon DSP 架构能够卸载 CPU 任务，利用异构计算支持始终在线任务，例如音频和显示。借助 Hexagon DSP，即可通过实时音频处理交付音频内容，在无延迟、无失真的情况下流式传输音频，消除背景噪声。骁龙处理器内的 Hexagon DSP还能卸载CPU的可视任务，包括文本识别、对象识别、图像增强和图像内的面部识别，并且节省电池电量。...
Qualcomm® AI Engine Direct 使用手册（8）
最新发布
weixin_38498942的博客
12-28 2802
对于要加载的两个后端库，可以从某个库显式加载该库的第二个副本 与第一个库所在的目录不同的目录，或者在期间创建了重复的文件系统 进程执行（对于 android 目标，adb remount）。将此与多线程推理进行比较。排序和数据分页：随着操作数量的增加，Context Binary 还必须需要存储 有关操作顺序的信息以及有关数据分页的信息（需要进行哪些操作） 写入 DDR 并需要在执行期间带回 VTCM）。使用量化感知训练可以消除使用 16 位激活的需要，并且可以允许使用 8 位激活，这将提高性能和功耗。
高通 Hexagon V65 HVX 编程参考手册（1）
weixin_38498942的博客
03-09 974
高通 Hexagon V65 HVX 编程参考手册（2）
高通 Hexagon V65 HVX 编程参考手册（16）
weixin_38498942的博客
03-30 655
高通 Hexagon V65 HVX 编程参考手册（16）
高通 Hexagon V65 HVX 编程参考手册（10）
weixin_38498942的博客
03-16 440
基于向量谓词寄存器中的谓词位，如果该位被设置，则来自向量寄存器Vu的相应字节被放置在目标向量寄存器Vd中。如果在向量谓词寄存器中设置了相应的位，则 Vu 中的元素被添加到 Vx 中的相应元素或从中减去。将VU的元素添加到VV的各个元素中，然后将结果直接移动一点点。支持字、半字（有符号和无符号）和字节（有符号和无符号）。支持未签名的字节，签名和未签名的半词以及签名的单词。可选择支持与目标的 XOR(^)、与目标的 AND(&) 和与目标的 OR(|)。支持字、有符号和无符号半字、有符号和无符号字节的比较。
Hexagon DSP系列记录(一)
lligen_dai的专栏
08-21 3391
Hexagon DSP系列记录 参考：80-VB419-108_Hexagon_DSP_User_Guide.pdf SM8150 chipset The processing units include a Kryo CPU, an Adreno 640, and four separate DSPs, each devoted to a specific application space: sensor (sDSP), modem (mDSP), audio (aDSP), and compute (
TFLITE计算scale、zero的一些体会
weimiao1324的博客
06-21 1078
当前工作集中在移动端推理引擎的建设，目前主要在hexagon DSP上；使用自定义模型格式，目前仅支持tflite的转换，为了兼容其余平台，因此在自定义模型格式中使用的是tflite的min、max值，由于在实际计算过程中，需要的是scale和zero，因此需要使用min、max计算得到对应的scale、zero，在其中遇到一些困难，记录下来以便后续使用。 由min、max计算得到scale、zero，最重要的一点是调整min或max以使得zero能够被一个整数精确表达，主要是为了在zero paddin
骁龙821处理器中的HVX是什么 HVX功能作用介绍
myq889的专栏
06-09 2092
　如今，"处理器"这个概念早已不是简单的 CPU、GPU 而已，更多的部件被添加到整个 SoC 片上系统当中 , 分担以往 CPU 和 GPU 处理的重务。在带来更优垂直化效果的同时，还会提升整体的处理效率并减少功耗。比如 Qualcomm 在骁龙 820 和骁龙 821 当中所集成的 Hexagon 680 DSP（数字信号处理器），便是近期的一个典型代表，而一个或许少有人知的" HVX "是 Hexagon 680 DSP 的一个关键要素。 ­　　■ 告诉你骁龙 821 当中神秘的 HVX ­.
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值