1. 做了什么?
把SAM变成了更计算高效、参数更少的EfficientSAM。
2. 具体怎么做的?
2.1 模型结构
从模型结构上来看:把SAM中的Image Encoder由ViT-H变成ViT-Small/Tiny。
下面是SAM的结构,可以看到Image Encoder很庞大,这也是SAM推理低效的原因。
图片来源:Sagment Anything
EfficientSAM的结构就是image encoder更加轻量化的SAM:
把SAM变成了更计算高效、参数更少的EfficientSAM。
从模型结构上来看:把SAM中的Image Encoder由ViT-H变成ViT-Small/Tiny。
下面是SAM的结构,可以看到Image Encoder很庞大,这也是SAM推理低效的原因。
图片来源:Sagment Anything
EfficientSAM的结构就是image encoder更加轻量化的SAM: