OpenExplorer天工开物AI开发平台包括AIToolchain、AIExpress和AISolution等组件，专注于深度学习模型在地平线芯片上的优化。文章详细介绍了量化训练方案（QAT）和浮点转定点工具链（PTQ）。QAT能在训练过程中生成量化模型，而PTQ则提供了一种简便的方法将浮点模型转换为可在地平线芯片上运行的指令级模型，两者在精度和适用场景上有所不同，为开发者提供了不同的优化选择。
地平线【OpenExplorer天工开物】开发平台
1. 简介
- OpenExplorer：天工开物AI开发平台，它主要由以下内容组成：
- AI Toolchain工具链
- AI Express 应用开发中间件
- AI Solution应用参考解决方案
- 系统软件
2. AI芯片工具链
- 它重点是解决如何在地平线芯片上完成深度神经网络模型的训练、转换以及模型部署问题
- AI芯片工具链核心：采用了模型量化技术来实现深度神经网络模型的计算加速
- 深度神经网络模型量化属于一种深度神经网络的性能优化技术，它通过降低权重和激活值的精度来减小存储&计算量，进而实现芯片级别的计算加速。 非量化场景下，模型权重和激活值都为Float 32bit，通过量化为16bit，8bit，4bit，可以成倍的减小计算量
- 常见有16bit，8bit，4bit等量化方案，目前地平线XJ2/XJ3采用8bit量化方案
- 地平线量化工具链主要包括两套：
- 量化训练工具链：QAT（Quantification Aware Training）量化感知训练
- 浮点转定点工具链：PTQ（Post-Training Quantization）后量化转换
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
