一段时间过去不接触就容易忘记，特在此记录下，懒得去翻官网文件了。

最近开始用3568的板子，之前是在用3399，cpu的话3399比3568强，但是3568有1T的npu算力，所以模型移植过来用npu使用，之前用ncnn感觉太慢了，rk的npu使用没有开源，所以没法兼容，只能跑rknn了。有些版本可以有限制，无法查询当前的命令，但是如果代码能够正常执行就行。这里采用的模型是 insightface 的 det_500m.onnx 模型，用来做人脸目标检测。

最近部署很多onnx转ncnn的操作，发现还是需要有页面操作会比较好，而且需要查询onnx的图，所以写了一个工具来搭配使用建议搭配来使用。

参考上一章量化之后，识别速度没有提升，后面我只能换小点的模型了，把【det_10g】改为【det_500m】速度终于提升上来了，识别效果还在在rk3399 上面由1s多 降为500ms左右，但是速度还是有点慢。看了下识别时长，基本都是目标检测和人脸特征提取这两个时间有点长。

余弦相似度是比对两个向量是否一致，同样可以比较两组特征的相识度，一般人脸识别中会比较常用到，而且计算出来的结果就可以展示相似度分值。其中Embed值是list 值为512维。

卷积CNN是我们最常使用的，但是有时候需要观察他的输出前后的差异，这里描述下计算方式，具体如下：图片大小：WxHxD W:宽 H:高 D:通道（RGB） 例:320x320x3卷积核：NxNx3 卷积核大小 后面的3是和图片的通道对应，如果图片是灰度的那么就是1卷积核个数：C步长：S 每次一卷积的时候跨越的步长填充：P 外网填充多少行和列，一般是图片保留特征或者是维持图片大小公式计算：输出数据的高度：OH = (H - N + 2P) / S + 1。

当前正在做人脸检测部署，发现检测速度有点吓人，以下监测的时间gpu：cpu：gpu推理大概整体时间200多毫秒，cpu推理时间300多毫秒，这里暂时没去考虑内存了。只考虑效率。用的insightface的det_10g 和w600k_r50模型，一个用于检测人脸框，一个用于对齐人脸特征。其实主要的时间集中在了检测框步长8的步骤。现在我的主要思路是基于ncnn的量化来进行优化，看看是否满足效果。

最近做目标检测的时候，发现通过极大值，还是有可能出现两个重叠的方框具体如下：核心代码如下：问题排查：通过定位排查，发现里面有个缺陷，就是在重叠框和目标框过小的时候，容易导致出现出问题NMS计算是IOU，就是计算重叠面积，占据两个框总面积减去重叠框的比例如果其中一个面积比较大，一个面积比较小，这个时候哪怕完全重叠，他们的IOU的NMS也比较低，通过阈值过滤会失败，导致出现两个重叠的方框。比如：我设置的阈值是0.4有两个方框A和B方框A的面积是1000，而B的面积是10，他们完全重叠，但是计算出来的N

直接使用下面的和官方的opencv 出现了typeid无法识别的问题。如果直接使用的opencv但是看了有些函数被去掉了，我一个项目刚好需要estimateAffinePartial2D函数，但是恰好他没有，那么只能选择官方的opencv（但是又碰上了 error: use of typeid requires -frtti主要是用到了typeid 引起的，android为了效率关闭了运行时类型信息 (RTTI)，开启会增加程序大小和降低性能。

det_10g是insightface 人脸框图和人脸关键点的分类，最终能够得到人脸框图bbox，分值还有人脸五官（眼x2、鼻子x1、嘴巴x2）

face onnx移植ncnn

ncnn 算子权重索引

返回False，那么是无法使用gpu的，所以需要找到pytorch和cuda的对应关系，不能安装cpu版本，不然无法使用gpu的。