【项目整理】SuperGlue和LoFTR特征匹配RKNN部署

本文介绍了将SuperGlue和LoFTR模型转换为RKNN格式以适应国产无人机NPU部署的过程,涉及模型压缩、自定义算子、rknn-toolkit2使用以及解决动态输入问题。最终实现混合部署,显著提高了推理速度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

写在前面

因整理简历需要,将项目放在博客简单介绍一下。

项目描述

应需在国产无人机上执行匹配定位任务,将当前主流的 SuperGlue 和 LoFTR 两种特征匹配方法 pytorch模型转换为 rknn 模型并部署在 npu 中。

RKNN模型的整体开发

在这里插入图片描述
整体开发流程主要包括模型转换、模型评估和板端部署。
为使用RKNPU,需要在PC上运行rknn-toolkit2工具,将训练好的模型转换为RKNN格式模型,之后使用RKNN C API或Python API在开发板上进行部署。

模型压缩和优化

模型算子适配问题

官方文档查询不支持ReduceLogSumExp,但是因为在superglue当中的sinkhorn算法会有这个算子进行计算,因此需要自定义这个算子,根据查询文档,在rknn-toolkit2转换模型过程中先对这个算子进行注册即可。
在这里插入图片描述
并在onnx模型中将所有node的type是ReduceLogSumExp都替换为cstReduceLogSumExp,在C API同样编写自定义算子并加载注册加执行。
因为转换过程中部分算子损失精度严重,加

评论 37
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值