- 博客(17)
- 收藏
- 关注
原创 小模型在昇腾NPU上的推理部署:【MinerU 性能调优】
MinerU是一个高质量的开源工具,能够将包含图片、表格、公式等元素的多模态PDF文档转化为清晰、易于分析的Markdown格式,同时也支持从包含广告等干扰信息的网页中快速解析、抽取正式内容,并将其批量转化为Markdown格式,本文基于昇腾平台,针对 MinerU 的多个核心模块进行适配与优化,旨在提升整体推理效率。
2026-07-08 16:55:22
553
原创 小模型在昇腾NPU上的推理部署:【Triton-NPU初了解与使用】
模型服务化是将训练好的模型包装成一个可以通过网络访问的标准化服务的过程。将模型部署在一个专门的服务中,而其他的程序不需要关心模型所有的细节,只需要通过网络协议(HTTP/gRPC) 发送数据并且接收预测结果即可。Triton Inference Server 是一个开源的高性能推理服务框架,支持 TensorFlow、PyTorch、ONNX 等多种模型,并可在 GPU、CPU 和 NPU 等异构硬件上高效运行。
2026-07-07 10:18:26
319
原创 小模型在昇腾NPU上的推理部署:【小模型推理精度问题定位系统方法论】
精度问题一直是AI领域中的难点问题,小模型领域模型数量繁多、模型种类多样,推理技术路线多样,精度问题的原因五花八门,定位时间通常较长。本文对小模型推理精度问题做了系统性的抽象,进行剖析和整理,试图建立一个结构性的框架来讨论小模型精度问题,也便于初学者对整个小模型精度领域建立起基本的概念。
2026-07-03 15:47:51
478
原创 小模型在昇腾NPU上的推理部署:【基于昇腾 NPU 的 OCR 业务系统性能优化实践】
在将多模态OCR业务从GPU迁移至昇腾NPU的过程中,由于硬件架构的差异,原有推理链路在性能和资源管理方面出现了新的瓶颈。本文基于一套五层架构的文档解析系统,详细记录了在昇腾NPU环境下的性能调优过程,涵盖推理调用结构重组、并发模型重构以及底层内存分配策略调整。通过一系列优化,最终在单卡单进程场景下实现了显著的性能提升和资源优化。该文档解析系统采用流水线架构,核心功能是对PDF或图片进行版面分析,输出包含文字、表格、印章等元素的结构化JSON。请求接入与缓存层。
2026-07-03 15:43:05
513
原创 小模型在昇腾NPU上的推理部署:【onnx模型逆向转pytorch】
在实际开发中,我们通常使用 PyTorch 训练模型,并通过将其导出为 ONNX 格式,以便在不同框架或推理引擎中部署。然而,有时我们只拥有 ONNX 模型文件,却丢失了原始的 PyTorch 代码或权重文件。此时,如何将 ONNX 模型逆向转换回 PyTorch 格式,便成为一个实际需求。本文将介绍社区中可行的转换方案及其注意事项。ONNX 转 PyTorch 虽无官方支持,但借助社区工具可以解决大部分常见场景的需求。
2026-06-29 15:32:29
853
原创 小模型在昇腾NPU上的推理部署:【triton-server服务化部署sensevoice】
模型仓库的目录结构配置文件的详细解释(多输入多输出、动态形状)Python 后端服务端代码(基于ais_bench推理接口,支持动态形状)客户端调用示例(预处理、推理、后处理)Triton Server 启动命令注意:本文聚焦于服务化部署,其中预处理(FBank 提取)和后处理(CTC 解码)在客户端完成。您也可以将部分预处理/后处理移至 Triton Python 后端实现,具体取决于性能需求和架构设计。SenseVoice 模型的 OM 转换及更多优化技巧可参考昇腾官方文档:🔗。
2026-05-20 15:42:35
702
原创 小模型在昇腾NPU上的推理部署:【伪精度案例】
伪精度案例:当余弦相似度为 1 时,算子就一定没问题吗?在模型转换(ONNX → OM)过程中,精度比对是验证模型正确性的关键环节。本文记录了一个典型的“伪精度”问题案例,供参考。在精度比对中,通常使用随机输入(如)生成测试数据,这会引入大量小数点后的微小差异。但在实际业务场景中,模型的输入是固定的、符合真实分布的,并不会出现这些极端边界情况。
2026-05-18 17:12:36
648
原创 小模型在昇腾NPU上的推理部署:【paddlex集成aisbench】
本文旨在解决开发者在昇腾NPU上使用PaddleX推理动态模型时遇到的问题:目前PaddleX暂不支持在NPU上直接推理动态模型。现有三种实现方式中,onnxruntime在CPU上推理支持动态模式,onnxruntime_cann在NPU上推理仅支持静态模式(也需要适配),而PaddleX虽支持推理om模型,但也仅限于静态模式。实际上,昇腾NPU具备推理动态om模型的能力,可通过昇腾的aisbench推理框架实现。
2026-05-18 17:10:00
548
原创 小模型在昇腾NPU上的推理部署:【om精度问题定位手段】
在将训练好的模型部署至昇腾NPU进行推理时,精度对齐是核心挑战。模型的精度损失往往不是单一原因造成,而是贯穿整个跨架构迁移与转换链路中多种因素共同作用的结果。这是一个典型的“查异排错”过程:由于AI训练通常基于GPU/CPU环境,而推理部署在专用的NPU硬件上,二者在硬件架构、软件栈、计算范式上存在系统性差异,任何环节的细微偏差都可能被链路放大,最终导致输出结果与预期不符。导致精度问题的根源错综复杂,硬件计算差异:这是根本差异。
2026-04-08 11:01:13
1036
原创 小模型在昇腾NPU上的推理部署:【triton-server服务化部署yolov8/yolov11/yolov5】
模型仓库的目录结构配置文件的详细解释Python 后端服务端代码(基于ais_bench推理接口)客户端调用示例Triton Server 启动命令注意:本文仅聚焦于模型的服务化部署,未包含预处理(如图像缩放、归一化)和后处理(如 NMS、结果解析)逻辑。开发者需根据实际业务需求自行实现这些部分。前后处理的实现可参考昇腾官方仓库示例:🔗Ascend/modelzoo-GPL - Yolov8 for PyTorch 前后处理参考。
2026-04-08 10:57:52
860
原创 小模型在昇腾NPU上的推理部署:【onnx转om失败问题定位思路】
在昇腾NPU上进行模型推理部署时,通常需要将训练框架导出的ONNX模型转换为昇腾专用的OM模型格式。然而,在实际的模型转换过程中,开发者经常会遇到ATC(Ascend Tensor Compiler)工具报错导致转换失败的情况。本文基于实际项目经验,系统总结了ONNX转OM失败的常见问题及定位思路,为开发者提供实用的排查指南。基础排查:首先检查错误码,排除工具使用问题深度调试:生成DEBUG日志和GE图进行详细分析常见问题对照:参考上述常见问题及解决方案技术支援。
2026-02-26 09:20:16
1495
原创 小模型在昇腾NPU上的推理部署:【AISBENCH】
AISBENCH是昇腾平台面向轻量级模型推出的端侧推理工具集,它集成了模型转换、图优化、量化压缩与运行时调度等核心功能。极轻量:内存占用与二进制体积极小,适合嵌入式场景低延迟:优化数据流与算子调度,推理速度更快易用性:提供一键式编译工具,简化部署流程高能效:支持功耗与性能的平衡调节,延长设备续航本文详细介绍了使用AISBENCH在昇腾 NPU 上部署轻量化模型的完整流程,从环境配置到实际推理,提供了代码示例。环境准备:选择合适的安装方式,推荐使用官方镜像模型转换。
2026-02-26 09:20:03
1047
原创 小模型在昇腾NPU上的推理部署:【使用TorchAIR进行模型图编译推理优化】
本文旨在介绍如何利用华为昇腾的技术,在昇腾AI处理器上对PyTorch模型进行图编译优化,以提升推理性能。我们将以Meta的DINOv3模型为例,演示如何使用结合TorchAIR后端实现"一次编译、多次运行"的高效推理模式。什么是 TorchAIR?是华为昇腾为PyTorch开发者提供的高级图编译优化工具。它基于引入的API,通过将PyTorch模型的计算图转换为昇腾硬件友好的中间表示(IR),实现更深层次的性能优化。与基础的torch_npu全图捕获:将整个模型的计算图一次性捕获并优化算子融合。
2026-02-25 14:54:40
1805
原创 小模型在昇腾NPU上的推理部署:【ONNX 模型快速部署】
本文为开发者提供一份实用指南,演示如何利用与华为 CANN的对接能力,将通用 ONNX 模型快速部署到昇腾 AI 处理器(NPU)上进行高效推理。通过标准化的中间格式和高效的执行提供者,实现一次导出、多处部署,是拥抱国产 AI 硬件生态的便捷路径。什么是 ONNX Runtime CANN?是一个跨平台的高性能推理引擎,支持多种硬件后端。CANN是华为昇腾 AI 处理器的计算架构。两者的结合点在于ONNX Runtime 的 CANN Execution Provider (EP)。
2026-02-25 14:53:02
1750
原创 小模型在NPU上的推理部署:【知识地图】
当前,人工智能应用正加速从云端向边缘侧与终端设备渗透。在这一趋势下,计算效率高、延迟低、隐私性好的本地化推理成为关键需求。专为神经网络计算设计的NPU(神经网络处理单元)因其在能效比上的巨大优势,已成为边缘AI芯片的核心组件。与此同时,小模型(参数量通常在千万级以下)凭借其更小的体积、更快的速度以及对硬件更低的依赖,在移动端、IoT设备和工业嵌入式场景中展现出强大的应用潜力。将小模型部署于NPU,旨在充分发挥两者优势,实现高性能、低功耗、低成本的AI赋能。
2026-02-13 15:48:52
319
原创 小模型在昇腾NPU上的推理部署:【 使用torch_npu进行模型迁移】
当前,人工智能应用正加速从云端向边缘侧与终端设备渗透。在这一趋势下,成为关键需求。专为神经网络计算设计的因其在能效比上的巨大优势,已成为边缘AI芯片的核心组件。与此同时,凭借其更小的体积、更快的速度以及对硬件更低的依赖,在移动端、IoT设备和工业嵌入式场景中展现出强大的应用潜力。将小模型部署于NPU,旨在充分发挥两者优势,实现的AI赋能。然而,从训练完成的模型到在NPU上高效、精准地运行,中间存在一个复杂的“部署鸿沟”。这涉及到等一系列工程挑战。
2026-02-13 15:30:12
1588
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅