
从连续视觉到离散符号
五一假期前一天,DeepSeek抛出视觉多模态技术报告。过去一年,多模态模型多聚焦让模型看得更细以增强视觉推理,如OpenAI让模型在推理中裁剪、放大、旋转图片,Gemini、Claude等想办法处理更高分辨率、更复杂视觉输入。而DeepSeek走上不同道路,关注多模态推理里易被忽略的死穴:就算模型看清了,如何保证其推理时和人指的是同一对象。
人类看图可用手指标记对象,但模型只能用语言指代,画面复杂时语言指代易漂移,推理会崩溃。于是DeepSeek给模型一根“手指”,把点和边界框变成模型思考基本单位,让模型边指着对象边推理。
DeepSeek提出“引用鸿沟”问题,过去前沿多模态模型多解决“感知鸿沟”,通过提高分辨率等让模型看到更多细节,但在复杂空间推理任务上仍会逻辑崩溃,问题出在自然语言本身。
DeepSeek提出“视觉基元”概念,将边界框和点提升为“思维最小单位”,把空间标记嵌入推理过程,形成“边推理边指向”机制,让模型推理过程可追踪、可验证。这与OpenAI“thinking with images”路线形成对比,OpenAI路线强调通用能力,视觉推理过程是黑箱,而DeepSeek让推理过程透明,好处是推理过程易训练、检查和打分。
效率才是核心
DeepSeek模型处理图像时用的token数量远少于其他前沿模型。报告对比显示,处理800×800分辨率图像,Gemini - 3 - Flash约1100个,Claude - Sonnet - 4.6约870个,GPT - 5.4约740个,Qwen3 - VL约660个,DeepSeek约361个,且在KV缓存里只保留约90个条目。
DeepSeek用“压缩稀疏注意力”机制实现极致效率。先把图像压成更少视觉token,再进一步压缩其在KV缓存中的表示。以一张756×756图像为例,经处理后压缩比达7056倍。
这种效率带来多方面优势:推理速度变快,减少计算量;内存占用少,可处理更多图像或更长多轮对话;变相提高模型上下文容量;训练成本降低。且实验表明压缩未损害性能,反而在某些任务上有提升,说明视觉推理瓶颈可能在于表征方式。
未竟之事
DeepSeek在报告局限性部分列出当前方法存在的问题。一是触发词依赖,模型需显式触发词才能激活“用视觉基元思考”能力,未学会自主判断何时使用视觉基元,未来版本可能让模型学会自主决定推理策略。
二是分辨率限制,受输入分辨率限制,模型在细粒度场景表现不够好,输出视觉基元不够精确。可通过整合高分辨率方法解决,采用混合方案,让模型判断哪些区域需高分辨率处理,这又涉及元认知问题。
三是跨场景泛化,用点作为视觉基元解决复杂拓扑推理问题难,模型跨场景泛化能力有限。虽在合成数据测试集上准确率超其他模型,但在真实世界表现可能下降。DeepSeek通过大规模、高多样性数据提升泛化能力,但数据多样性只是一部分,且视觉基元与现有多模态生态不完全兼容,评测和复现门槛较高。
301



被折叠的 条评论
为什么被折叠?



