segment anything model(SAM)是Meta于2023年4月5日发布的分割基础模型。SAM 允许分割任何对象而无需微调。
可以在这里尝试SAM模型的效果。
分割效果这么好,都忍不住想用SAM来做场景的语义分割,realtime与否先放在一边,能不能用SAM来做语义分割。
一张图片是可以的,但是多张连续图片序列或视频,就会出现颜色频繁变化的问题,因为它的颜色不代表语义,颜色是随机的。SAM只有分块功能,并没有判断类别的功能。
想让连续的图片序列中语义保持连续,就出现了SAM-Track.
github地址
可以实现某一个目标的分割+跟踪,也可以跟踪第一帧里分割出来的anything.
不想在本地配置的同学们可以直接线上运行,