中科院版「分割一切」模型来了，比Meta原版提速50倍 | GitHub 2.4K+星

转载 于 2023-06-27 16:01:56 发布 · 369 阅读 · 4 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247683472&idx=4&sn=3bc734583268c2182809c22c12a9f012&chksm=e8debae2dfa933f4af83120d34f1ebecac38cc0cce2310b96a18c978e75413a0827083271b1f&scene=126&sessionid=0

部署运行你感兴趣的模型镜像
An. 投稿
量子位 | 公众号 QbitAI

比Meta的「分割一切模型」(SAM)更快的图像分割工具，来了！

最近中科院团队开源了FastSAM模型，能以50倍的速度达到与原始SAM相近的效果，并实现25FPS的实时推理。

该成果在Github已经获得2.4K+次星标，在Twitter、PaperswithCode等平台也受到了广泛关注。

eaa1eaac9f7a3c1cb54b42b4dade1cb0.png

相关论文预印本现已发表。

以下内容由投稿者提供

7a68f6e8a6bc8be7d8562fd59a9de2fd.png

视觉基础模型 SAM[1]在许多计算机视觉任务中产⽣了重⼤影响。它已经成为图像分割、图像描述和图像编辑等任务的基础。

然⽽，其巨⼤的计算成本阻碍了它在实际场景中的⼴泛应⽤。

最近，中科院⾃动化所提出并开源了⼀种加速替代⽅案 FastSAM。

通过将分割⼀切任务重新划分为全实例分割和提⽰指导选择两个⼦任务，⽤带实例分割分⽀的常规 CNN 检测器以⾼出50倍的运⾏速度实现了与SAM⽅法相当的性能，是⾸个实时分割⼀切的基础模型。

b92cae29c1d5cb6eda92e80174b31203.png

意义与动机

SAM 的出现带动了 “分割⼀切”（Segment Anything）任务的发展。这⼀任务由于其泛化性和可扩展性，有很⼤可能成为未来⼴泛视觉任务的基础。

FastSAM 为该任务提供了⼀套实时解决⽅案，进⼀步推动了分割⼀切模型的实际应⽤和发展。

本⽂将“分割⼀切”任务解耦为全实例分割和提⽰引导选择两阶段，通过引⼊⼈⼯先验结构，在提速 50 倍的情况下实现了与 SAM 相近的表现。

FastSAM 的优秀表现为视觉任务的架构选择提供了新的视角——对于特定任务，专用模型结构或许在计算效率和精确度上仍具有优势。

从模型压缩的⾓度看，FastSAM 也证明了基于大模型产生高质量数据，通过引⼊⼈⼯先验结构大幅降低计算复杂度的路径的可⾏性。

示例

Web DEMO

在 HuggingFace 的 Space 中，你可以快速体验 FastSAM 的分割效果。

你可以上传一张自定义的图片，选择模式并设置参数，点击分割按钮，就可以得到一个满意的分割结果。

现在支持一切模式和点模式的交互，其他模式将在未来尝试支持。在 Replicate 上已支持所有模式的在线体验。

d5b262edb8af0cb080f2cf5550463c61.jpeg

7162bf892c5979b138e4d1d937d5d736.jpeg

多种交互⽅式

FastSAM目前共支持三种交互方式。

17dea341e75fab09bd6c7e073ec41b34.png

多点交互模式

FastSAM ⽀持多个带有前景/背景标签的点交互模式，可以很好地适应不同场景的应⽤需求。

以缺陷检测场景为例，只需对缺陷部位添加前景点，对正常药丸部分添加背景点，即可准确地检测出物体缺陷。

eb18ddc8d94052dea761b0d4fc0c9c2c.png

框交互模式

FastSAM 也⽀持框交互模式。也以缺陷检测为例，只需对缺陷⼤致位置进⾏框选，即可准确检测出物体缺陷。

7f3f8ce5ea1ec4b12650df3ef6e098cd.png

⽂本交互模式

FastSAM 也⽀持并开源了⽂本交互模式。通过不同的⽂本提示，FastSAM可以准确分割出不同颜⾊的⼩狗。

98abbd7143d51836e8bb45931857e5e6.png

工作原理

如下图所示，FastSAM 的网络架构可分为两个阶段：全实例分割和提示引导选择。

52f59a70b56f0784756485cb7c53d963.png

在全实例分割阶段，FastSAM 使用卷积神经网络来对图像中的所有对象或区域进行划分。

在提示引导选择阶段，它采用包括点提示、框提示和文本提示的各种提示来选出关注对象。

与基于Transformer的方法不同，FastSAM融合了与视觉分割任务紧密相关的先验知识，例如局部连接和对象分配策略。这使得它以更低地参数量和计算量下更快地收敛。

定性与定量分析

测试结果表明，FastSAM各方面的表现完全不输于Meta的原始版本。

速度

从表中可以看出，FastSAM 取得了远超 SAM 的速度表现，在「分割⼀切」模式下，SAM的速度会受到均匀点提⽰数量的影响，⽽ FastSAM 由于结构的特点，运⾏时间不随点提⽰数量的增加⽽增加，这使得它成为「分割⼀切」模式的更好选择。

9ab42e3c160ed9c07add95551a8d649b.png

同时，由于 FastSAM 在结构设计中利⽤了⼈的先验知识，使得它在实时推理的同时也具备了与 SAM 相当的性能。

边缘检测

下图展⽰了具有代表性的边缘检测结果。经过定性观察可以看出，尽管FastSAM的参数明显较少（只有68M），但它也能产⽣很⾼质量的边缘检测结果。

88883d37653e67889d326290ac687cd4.png

从下表可以看出，FastSAM 取得了与 SAM 类似的性能。与 Ground Truth 相⽐，FastSAM和 SAM 都倾向于预测更多的边缘，这种偏差在表中得到了定量的反映。

67d3bd81893f8e203fd36a05e2b56511.png

物体候选

从下表可以看出，FastSAM 在 bbox AR@1000 的表现上超过了计算量最⼤的 SAM 模型（SAM-H E64），仅次于在 LVIS 数据集上监督训练的 ViTDet-H[2]。

0141cd937bf7deb239ac8f6177890e99.png

可视化结果

SA-1B 分割结果：下图展⽰了 FastSAM 在 SA-1B 数据集上不同场景和掩码数量时的分割结果。

88410ec8ba4c0f1fa7da8c7dcaa15e19.png

下游应⽤对⽐：下⾯三张图对⽐了 FastSAM 和 SAM 在异常检测、显著物体分割和建筑物提取三个下游任务的效果，FastSAM 在不同模式下均取得了和 SAM 相当的表现。

39c72717e7a5d3de1711ad03270edaea.png

466dac740b117ef039b11221d8124f1d.png

8093eb9bdb5970fdb4311e511b6c5d6f.png

参考⽂献
[1] Kirillov A, Mintun E, Ravi N, et al. Segment anything[J]. arXiv preprint arXiv:2304.02643, 2023.
[2] Li J, Yang T, Ji W, et al. Exploring denoised cross-video contrast for weakly-supervised temporal action localization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 19914-19924.

论文地址：
https://arxiv.org/abs/2306.12156

GitHub项目页：
https://github.com/CASIA-IVA-Lab/FastSAM

HuggingFace DEMO：
https://huggingface.co/spaces/An-619/FastSAM

Replicate demo：
https://replicate.com/casia-iva-lab/fastsam

您可能感兴趣的与本文相关的镜像

AutoGPT

AutoGPT

AI应用

AutoGPT于2023年3月30日由游戏公司Significant Gravitas Ltd.的创始人Toran Bruce Richards发布,AutoGPT是一个AI agent（智能体），也是开源的应用程序，结合了GPT-4和GPT-3.5技术，给定自然语言的目标，它将尝试通过将其分解成子任务，并在自动循环中使用互联网和其他工具来实现这一目标

QbitAl
关注
博客
英伟达巧用8B模型秒掉GPT-5，开源了
12-06 13
MIT和CMU联合团队的ToolRL，提出以奖励为核心的工具学习框架，训练小模型通过强化学习动态选择工具，主要是解决“传统工具学习过度依赖人工标注数据” 的问题，通过自动生成工具交互轨迹训练模型。最明显的原因就是实用。大模型虽强，但太贵、太慢，而Orchestrator-8B参数量小，还能实现「强+省钱」，直接解决了落地时的成本难题。虽然也是奖励机制，但ToolRL的奖励函数更侧重于任务的正确性和工具调用效率，并没有明确纳入用户偏好，且工具库以基础工具和专业API为主。
博客
SpaceX估值8000亿美元超OpenAI，IPO就在明年
12-06 35
2008年，猎鹰1号在历经三次失败后终于成功入轨，这让SpaceX证明了自己——虽然是一家私营公司，但同样具备入轨能力。再到2025年，依靠猎鹰9号的高频复用，SpaceX实现了全球最高的发射能力，为大规模卫星星座的建设彻底铺平道路。比如，据彭博在内的另外几家媒体透露，SpaceX也可能以300美元左右/股进行交易，届时公司估值可能为5600亿美元，而非当前正在传的8000亿美元。到目前为止，SpaceX已经在火箭发射市场占据主导地位，除了帮一些商业卫星公司执行发射计划，也和NASA等官方机构多有合作。
博客
14岁华人小孩，折个纸成美国天才少年
12-06 7
而就是这些日常生活随处可见的普通纸张，让迈尔斯在一众背靠专业实验室设备的选手中脱颖而出，一举成为纽约名声大噪的天才少年。而就是这张看似平平无奇的折纸，却在此后成为了日本卫星太阳能板的关键结构，甚至NASA的可折叠太阳能阵列也曾受其启发。为了找出最优解，迈尔斯的研究囊括了4项变量：包括三种不同的平行四边形宽度、三种角度、两种高度，再加上三类纸张。神奇的是：在这54套方案中优胜的，并非尺寸较小、角度较小的板材，反倒是看似普普通通的复印纸。我完全是在没有任何专业设备的情况下完成的研究。
博客
智能体A2A落地华为新旗舰，鸿蒙开发者新机遇来了
12-06 377
当你沉浸在小红书的旅行攻略时，只需双指长按即可召唤分屏导航，左侧点击攻略里的景点，右侧的百度或高德地图瞬间就能响应定位，甚至能依据文中提到的多个地点自动规划出最佳路线，让导航出行一目了然。总之，A2A协作把人找服务的旧模式，变成了一声令下服务就主动找人的新形态，它让设备具备了组织能力，这不仅是效率的提升，更是消费电子设备进入主动智能协作阶段的里程碑。现在，只需对小艺下令，小艺就会作为主Agent，点个名就能自动调度并指挥第三方应用的子Agent，无需界面跳转，在小艺的对话框内就能完成任务。
博客
《三体》“宇宙闪烁”成真！免佩戴裸眼3D屏登Nature
12-06 9
长相上，它的大小和普通的24寸桌面显示器相当，但别小看这个尺寸，它的有效3D成像面积达到了0.1到0.2平方米，跟以前那种只能显示指甲盖大小的全息技术比起来，足足大了1000倍。它的思路不再是试图在整个空荡荡的空间里重建光场，而是利用传感器实时锁定观察者的眼球位置，通过精密计算，将有限的光学信息“聚拢”起来，只精准地投射到你双眼注视的那个小范围内。在实现这么多复杂效果的同时，它的画质一点没缩水，依然保持了1920×1080的高清分辨率，刷新率也超过了50Hz，画面非常流畅，完全能撑得起实时的动态内容。
博客
知名数学家辞职投身AI创业：老板是00后华人女生
12-06 17
是一个30年前的加法数论问题，涉及将整数表示为多个进制下的幂之和，在Axiom发布的前两天，Harmonic同样宣称解决了该问题，但只完成了简化版问题的证明，以及Lean形式化验证。在此期间还发表了9篇论文，涉及领域相当广泛，包括模椭圆曲线与K3曲面的L函数、月光猜想、theta与划分函数同余方程、堆栈排序算法，和二部图边染色的马尔可夫链。他主要的工作是推动内部AI模型达到性能极限，通过设计出只有深度理解数学原理才能够解决的数学问题，以及制定衡量系统性能的基准，指导模型优化。几周前，OpenAI曾声称。
博客
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
12-05 38
现在AI领域已经达成共识的是，Transformer虽好，但自注意力机制的效率问题正在日益凸显：每个token都要“关注”其他所有token，导致计算量和内存消耗与序列长度的平方成正比。它把从长期记忆中提取的信息，当作是历史信息的“摘要”，与当前的短期输入一起进行处理。其中的关窍是“意外”。本质上，可以说这个新架构的重点，是重新定义Transformer的“记忆模式”，将其进化为一种更强大的混合架构。是Titans架构的一种主要变体，设计思路是，将长期记忆作为一种额外的上下文信息，直接“喂”给注意力机制。
博客
Office危！阿里千问这回把“办公全家桶”打包进了对话框
12-05 70
更实用的一点是，生成完还能改，我觉得这是这次升级最最最实用的功能点，毕竟我们平时让AI帮我们生成的PPT都不支持修改，最后还是要挪到office里搞，很麻烦。除了生成、编辑、格式调整外，在这次升级中，千问还支持Word/PPT/PDF/Excel等各类格式转换，确保用户相关操作在一个APP里就能完成。从排版格式上来看，文字行间距、字间距、大小标题的位置都没乱，内容也被分成了清晰的序号区块，整体观感还是比较舒服的。此外，PPT美观程度也是我们很care的点，现在我们在千问中可以直接更换PPT。
博客
优理奇机器人完成两轮合计3亿元天使++++轮及天使+++++轮融资，“算法-硬件-场景”三位一体加速具身智能应用落地
12-05 32
优理奇构建了涵盖感知、决策、控制的完整技术栈，并通过UniTouch多模态感知模型、UniFlex、UniCortex等行业领先的“大小脑”模型组合，以及行业首款量产的8自由度仿生机械臂和开放工具链，显著提升了机器人在非结构化环境中的适应性与可靠性。深度参与产品定义，以“可教学、可编程、可复现”为特点，配备完整ROS2接口，为科研与教育提供高效基础设施，进一步巩固公司在技术生态中的影响力。顶尖的技术与工程团队、经过严苛验证的产品、清晰的商业化路径、强大的产业资本联盟以及政府层面的全力支持。
博客
视频模型也能推理，Sora2推理能力超过GPT-5
12-05 55
这种通过视频来“预知未来”的能力，让模型不仅能理解当下的物理规则，更能推演未来的连锁反应，这或许才是通往World Simulator那把关键的钥匙。反观视频模型，它们通过构建时空连贯的Chain-of-Frame进行推理，这种“视觉动力学”机制保证了无论场景多么复杂，每帧的视觉 Token 密度都保持稳定，从而天然地维持了空间连续性。值得注意的是，团队进行了一项严苛的对比实验：在完全相同的训练数据和接近的训练设置下，同时微调了Wan2.2-TI2V-5B 和 Qwen2.5-VL-7B。
博客
GPT-5从零提出量子物理新想法，物理学家写成论文已登Physics Letters B
12-05 63
通俗地说，我们熟悉的量子力学是 “线性” 的，那如果给它加一些 “非线性” 的修改（让量子状态的变化不仅和自身有关，还和整个系统的状态挂钩），能不能依然符合相对论的要求（比如信息不能超光速传播、物理规律不随观测角度变）。他指出，这是大模型在物理学中的常见问题：模型的专业知识覆盖整个文献领域，因此完全有能力引入来自遥远子领域的、听起来很合理的技术应用，而这些往往是最难发现的虚构内容。与大模型一起做研究，可能类似于与一位才华横溢但不可靠的人类天才合作，他能够产生深刻的洞见，但也会犯下简单和深刻的错误。
博客
谷歌最强大模型付费上线，在DeepSeek开源后被吐槽太贵
12-05 45
具体来说，在「深度思考」模式下，Gemini会开启迭代推理，能多轮打磨代码，生成更精细的程序，从而在可视化、原型设计和实验方面给出细节更丰富的交付结果。不给对手任何喘息的机会，Gemini 3 Pro刚给OpenAI按在地上锤完，谷歌转手又扔出一重磅炸弹——Gemini 3 Deep Think。这或许也能解释，为什么本该是谷歌又一大招的Gemini 3 Deep Think，最终却出乎意料的反响平平，评论区几乎清一色都在吐槽定价。该模型的底层技术衍生于Gemini 2.5 Deep Think——没错，
博客
北航领衔发布300页代码智能综述：从基础模型到智能体，一次读懂Code LLM全景图
12-05 41
From Code Foundation Models to Agents and Applications》一文是对过去几年代码智能领域的一次系统梳理：模型、任务、训练、智能体、安全与应用都被串联成了一条完整、连贯的技术链路。论文将风险拆分为数据安全、模型安全和执行安全三个层面：包括训练数据的许可证风险、模型生成的潜在漏洞、提示攻击、环境操控、以及代码执行带来的系统级风险。论文从需求理解、代码定位、跨文件生成、自动测试、APR（自动修复）、日志分析等任务切入，为每一步构建了对应的Agent框架和案例。
博客
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
12-05 562
而过去几年，行业陷入了“唯规模论”的路径依赖，直到今天，以Ilya为代表的一批顶尖研究者才集体发出警示：Transformer架构的固有局限已日益凸显，仅靠堆叠算力和数据，无法通往真正的通用智能。它不仅重新定义了多模态模型的构建方式，更向世界宣告：AI的下一站，是回归到对智能本质的探索，通过根本性的架构创新，去构建能真正理解并融通多维信息的通用大脑。注意力机制是大模型的思考方式，在传统模块化模型里，语言模型的注意力是因果的（只能看到前面的词），而视觉编码器的注意力是双向的（能看到所有像素）。
博客
2025年的冬天，上海凭什么被称为“世界具身智能第一战场”？
12-05 48
真正的里程碑在于，在中国，以上海为代表的世界具身智能产业排头兵们，已经建立了一个让硅基生命能够“出生、成长、学习、就业”的完整生态系统。坐镇，她考核的不仅是摆放位置，更是机器人能否理解“留白”的意境，能否通过花材的疏密布局，表达出“孤独”或“热烈”的。行业的“定海神针” 发布的“青龙”全尺寸通用人形机器人开源公版机，通过开源图纸和架构，将全行业的起跑线向前推进了。2025年的冬天，黄浦江畔的风带着些许湿冷，但张江科学会堂周边的空气，却因高密度的算力运转而近乎沸腾。具身智能的大脑训练需要极高的算力支持。
博客
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
12-05 441
如果我们将一层Attention视为一阶关系（A认识B），那么将Attention的输出作为下一层Attention的输入，就可以构建二阶关系（张三通过李四认识王五），乃至更高阶的关系。这种结构天然支持多跳推理链，就像人在解一道数学题时，先理解题干中的关键变量（第1层），再思考它们之间的公式关系（第2层），最后验证整体逻辑是否自洽（第3层）。例如它能轻松理解“A认识B”，但如果要它理解“张三通过李四认识了王五”，即多跳、多点之间的复杂、间接关系，它的脑回路就显得不够深，推理能力的天花板瞬间触顶。
博客
“豆包手机”在二手市场价格都翻倍了……
12-04 24
当用户给助手指令，要求操作手机时，助手确实需要读取屏幕，否则无法完成用户任务，但屏幕和操作过程都不会在服务器端留下存储，且所有的相关内容也都不会进入模型训练。据了解，豆包手机助手官方最新向新浪科技表示，“合作的工程样机由豆包主导AI手机助手的产品定义与体验，中兴通讯旗下努比亚nubia主导硬件工程与技术研发”。，所有权限的使用在官网的隐私安全白皮书中都有明确的披露，并不存在一些谣言所说的“入侵”、“越权”等行为。另外，有传言称这款手机基本算是字节自己研发的，但是迫于压力说的合作，其实中兴只是代工。
博客
黄仁勋做客美国第一播客：每天都在担心英伟达倒闭
12-04 42
然后你说“不，那是错的”，你需要把那个误差反向传播回去，调整这几十亿个开关的参数。我的两个孩子现在都在英伟达工作，所以我们在一起时，大家都在工作，都在聊公司的事情。我去见世嘉的CEO，我告诉他：“我没法完成合同了，我们的技术是错的。： 我一直想弄懂这个基础问题，因为我也在玩游戏，我知道显卡是干嘛的。如果这能让我们获取知识更高效，哪怕是由AI合成的知识，只要它是基于第一性原理核实过的，那就没问题。当时行业的主流是用三角形来绘图，而我们却选择了一种叫“正向纹理映射”的技术，用的是四边形，甚至是曲面。
博客
嘉宾全阵容揭晓！张亚勤孙茂松，百度小米商汤谷歌都要来MEET2026
12-04 136
PPIO聚焦于AI云计算领域，推出高性能推理加速引擎，集成GPU容器实例、Serverless GPUs、Agent沙箱、大语言模型API、图像与视频生成模型API等产品，使开发者无需关注底层基础设施运维与模型接口开发，即可快速部署AIGC应用，聚焦应用创新与业务增长。刘凡平，毕业于中国科学技术大学，上海市科技专家库专家，曾出版人工智能领域著作4本，发表多篇人工智能领域论文，人工智能技术相关专利20余项，涵盖基础算法研究到大模型架构设计。主要研究兴趣包括：大模型、多模态、搜索推荐、具身智能、VR/AR等。
博客
下周三！量子位的这件大事就要来了｜MEET2026
12-04 278
这几位大咖聚在一起，探讨的不仅是Agent的技术架构，更是如何让AI从陪聊进化为真正的超级助理。前者， 是由量子位智库梳理总结出的2025年度AI代表进展，并且展望接下来能预见的技术趋势，覆盖从算法数据算力的技术底座，到产品解决方案，乃至行业应用的发展走向，总之关于AI的一切，都可以在这份报告一览而尽。而且现在大会的内容已经可以剧透，真就是光看嘉宾就知道有多重磅了，包括清华大学张亚勤、孙茂松、智源研究院王仲远等学术界的大咖，国内产业界有百度、小米、商汤等，国外有谷歌云、亚马逊云科技、高通等。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值