本文原创首发于极市平台公众号,如需转载请私信作者
YOLACT,全称为:You Only Look At CoefficienTs,从标题可以看出这个模型的名称有些致敬YOLO的意思。YOLACT是2019年ICCV会议论文,它是在现有的一阶段(one-stage)目标检测模型里添加掩模分支。而经典的mask-rcnn是两阶段实例分割模型是在faster-rcnn(两阶段目标检测模型)添加掩模分支,但是在YOLACT里没有feature roi pooling这个步骤。因而,YOLACT是一个单阶段实例分割模型。
起初,我是在知乎上看到YOLACT这个模型,文章里说它是端到端一阶段完成实例分割,而且运行速度快,并且YOLACT是ncnn(腾讯研发的手机端高性能神经网络前向计算框架)推理框架里唯一一款做实例分割的模型。于是我就想着编写一套程序,使用opencv 部署YOLACT来做实例分割,我把这套程序发布在github上,程序里包含C ++和Python两种版本的。
地址是:https://github.com/hpc203/yolact-opencv-dnn-cpp-python
关于 YOLACT,目前中文互联网上的资料多数是对原始论文的翻译总结。简单讲一下YOLACT的网络结构,如下图所示

左下角是550*550大小的输入图片,输入图片预处理后进入backbone(图中蓝色区域)生成C1~C5这5种尺度特征图,然后进入FPN(图中橙色区域)生成P3~P7这5种尺度特征图,这些都是很常见的操作。接下来是并行操作:
(1). P3~P7送入到Prediction Head分支生成各候

本文介绍了YOLACT目标检测模型的工作原理,它是一个单阶段的实例分割模型,通过在特征图上生成候选框并计算掩模系数。作者分享了如何使用opencv实现YOLACT模型的后处理,包括解析模型输出,应用非极大值抑制和实例掩模生成。此外,还展示了与官方代码可视化结果的对比。
最低0.47元/天 解锁文章
520

被折叠的 条评论
为什么被折叠?



