网心技术 | 看见：智谱多模态 Agent 论文解读

关注

原创最新推荐文章于 2026-08-06 14:13:28 发布 358 阅读 AI 写同款· GEO 优化 ›

用智谱AI的类「GPTs」，我做一个Agent只花了30秒去年（2023年）3月发布的一篇解读GPT-4能力的报告，最后的结论是：GPT-4在大多数任务的平均表现已经超过了人类的平均水平。在英文Prompt的理解上，GLM-4能力相较于GPT-4稍弱，为后者的85%。Dev Day上最新发布的GLM-4，目前在英文基础能力的表现上，已经能和GPT-4掰掰手腕，均达到了对手能力的九成；此前，OpenAI已经用GPTs，为AI时代的操作系统打了个版：开发者们利用GPT基座低门槛快速开发定制模型和应用GPTs，集成了这些GPTs的GPT，天然成为最懂这些应用的OS。阅读详情

引子：为什么"看见"如此重要

✅ 一杯水背后的协调

Marvin Minsky 在《Society of Mind》中描述过一个极其日常的场景：你想喝水，于是伸手拿起桌上的杯子。这个动作在意识层面几乎不需要思考。"想喝水，拿杯子，喝"。但 Minsky 指出，在这个简单动作的背后，大脑中至少有数十个"Agent"在同时协作：See（看见杯子的位置）、Find（在视野中锁定目标）、Reach（规划手臂的运动轨迹）、Grasp（根据杯子形状调整手指的抓握力度）、Lift（估算重量并施加适当的力）、Move（将杯子移向嘴边）……这些 Agent 都只做一件极简单的事，但它们之间的协调构成了一个小型的"社会"。

其中，视觉 Agent 是整个协调链的起点和锚点。没有"看见杯子在桌上、距离手约 30 厘米、杯口朝上、里面有水"这些视觉信息，后续所有 Agent 都无从启动。Minsky 用"积木世界"（blocks world）的实验进一步说明：一个孩子搭积木时，Builder Agent 负责规划搭建目标，但它完全依赖视觉 Agent 告诉它"哪些积木在哪里、当前塔有多高、下一块应该放在哪个位置"。Builder 本身不"看"。它依赖 See 和 Find 提供的感知信息来做决策。

这就是 Minsky 的核心洞察之一：视觉不是心智的附加功能，而是心智能够运作的前提条件之一。 大量看似"高级"的认知活动。规划、判断、决策，在底层都依赖于某种形式的感知输入，而视觉是其中信息量最大、带宽最高的通道。

✅ 5.4 亿年前的光

如果说 Minsky 从认知架构的角度揭示了视觉对智能的基础性作用，那么李飞飞（Fei-Fei Li）则从演化史的尺度给出了更宏大的论证。

在斯坦福 CS231N 课程的开篇讲座中，李飞飞将计算机视觉的历史追溯到了 5.4 亿年前的寒武纪生物大爆发（Cambrian Explosion）。化石记录显示，在大约 1000 万年的时间内（从演化尺度看极为短暂），地球上的动物物种数量爆炸式增长。在寒武纪之前，生命是安静的。水中漂浮的简单有机体，没有捕食，没有逃跑，没有竞争。

关于这次大爆发的成因有很多假说。气候变化、海水化学成分变化、大气氧含量上升。但李飞飞强调了其中一个最具说服力的理论：眼睛的出现。第一种拥有光敏细胞的动物：三叶虫（trilobite），获得了感知光线的能力。这不是精密的晶状体和视网膜，只是一个最简单的针孔，但它能采集光。

李飞飞说：

在没有感知器官之前，生命就是新陈代谢。非常被动。你来了，你走了。有了感知器官之后，你成为环境的一部分。你可能想要改变它，你想在其中生存下来。某些动植物成了你的晚餐，同时你也成了别人的晚餐。

这段话揭示了一个深刻的因果链：感知驱动了动物和环境的交互，交互驱动了竞争，竞争驱动了神经系统的演化，神经系统的复杂化就是智能的起源。 用李飞飞的话概括：

5.4 亿年视觉演化的历程，就是智能演化的历程。视觉作为动物最主要的感知之一，驱动了神经系统的发展，驱动了智能的发展。

数据也支持这个论断：人类大脑皮层中超过 50% 的神经元参与视觉信息的处理。人类是极度依赖视觉的物种。Hubel 和 Wiesel 在 1959 年的实验揭示了哺乳动物视觉系统的分层处理机制：初级视觉皮层中的神经元只响应特定朝向的边缘，而更高层的神经元则整合这些简单特征形成对物体和场景的完整表征。

这种分层的、从局部到整体的感知架构，后来直接启发了卷积神经网络的设计。从 Hubel-Wiesel 到 Fukushima 的 Neocognitron，再到 LeCun 的 LeNet，最终到 AlexNet 点燃的深度学习革命，视觉始终是人工智能最核心的战场之一。

✅ 从演化到界面：视觉的不可取消性

把 Minsky 和李飞飞的论证放在一起，可以得出一个对当下 AI Agent 发展至关重要的推论：

人类是天然的视觉动物。 超过一半的皮层资源用于视觉处理，我们的语言、文化、工具设计都深刻地建立在视觉感知之上。从洞穴壁画到印刷术，从电视到互联网，人类文明的信息传播方式始终以视觉为主通道，人类甚至可以从默剧中感受和理解剧中人物的情绪，感情和命运。

因此，人类与计算机的交互界面GUI（图形用户界面）不会消失。对于以文本为核心的大语言模型，命令行界面（CLI）可以更高效，API 调用可以更直接，但只要人类还在系统的回路中，就需要一个视觉化的界面来满足人类的感知需求。无论 AI 多么强大，只要它需要与人类协作、向人类展示结果、接受人类的反馈，视觉界面就是不可绕过的。

这就引出了一个逻辑上的必然：如果 Agent 需要在人类的工作环境中运作，而人类的工作环境是视觉化的，那么 Agent 必须能"看见"。 一个只能读取 DOM 树或 API 响应的 Agent，可以完成特定的自动化任务，但它无法理解一个网页"看起来"像什么、一个 UI 设计稿的布局意图是什么、一张截图中的错误信息出现在哪个位置。它在功能上是能力受限的，在与人类的协作上是天然受限的。

多模态 Agent 基础模型的技术路径

智谱的这篇论文《GLM-5V-Turbo》的核心主张与上述的演化论证在逻辑上是一致的：多模态感知应当是 Agent 推理、规划、工具使用和执行的核心组件，而非语言模型的辅助接口。

当前大多数多模态模型的架构是"语言模型 + 视觉编码器adapter"的拼接结构：先用一个视觉模型将图像编码为一串向量，然后把这些向量当作特殊的"token"输入语言模型。语言模型负责所有的推理和决策，视觉信息只是它的输入之一。这种架构在问答和描述任务上表现良好，但在 Agent 场景中暴露出三个根本性的不足：

第一，视觉感知的精度不够。 Agent 任务要求对细粒度视觉信息的准确感知。一个按钮的确切位置、一段文字在页面中的坐标、一个图表中数据点的精确数值。感知阶段的小误差会在后续的推理和执行中被级联放大。传统的"先编码再拼接"架构往往在编码阶段就丢失了关键的空间细节。

第二，多模态能力与纯文本能力互相干扰。 在训练中加入视觉数据后，模型的纯文本能力（尤其是代码生成）往往会退化。这是因为多模态训练改变了模型内部的表示空间分布，而视觉信息和文本信息对表示空间的需求可能存在冲突。对于一个需要同时处理代码编写和 GUI 操作的 Agent 来说，这种跷跷板效应是不可接受的。

第三，端到端 Agent 训练的不稳定性。 真实的 Agent 任务是长程的（多步骤、多轮交互），环境构建成本高（需要模拟器或真实环境），高质量的训练数据稀缺（尤其是包含视觉操作的 Agent 轨迹数据），验证困难（成功标准复杂且依赖上下文）。直接对这类任务做端到端训练，往往不收敛或收敛到局部最优。

❓ 针对上述三个问题，智谱做了什么

论文《GLM-5V-Turbo》从模型架构、训练范式和工具生态三个层面给出了系统性的解法。

✅ 视觉编码器：CogViT

CogViT 是一个专为多模态 Agent 设计的视觉编码器，采用两阶段预训练策略：

第一阶段是蒸馏式掩码图像建模。用 SigLIP2（侧重语义对齐）和 DINOv3（侧重纹理和空间细节）作为"双教师"，以 35% 的掩码率训练一个学生 ViT。这种双教师蒸馏的设计意图是让视觉编码器同时掌握语义理解（"这是一个按钮"）和空间精度（"这个按钮在屏幕的左上角，宽 120 像素"），两种能力在 Agent 场景中缺一不可。

第二阶段是大规模图文对比预训，使用约 80 亿张图片的双语语料，将视觉表示与文本表示对齐到同一语义空间。架构上引入了 NaFlex（支持可变分辨率输入）和 QK-Norm（稳定注意力机制的数值行为），确保编码器在处理从小图标到高分辨率文档等不同尺度输入时的鲁棒性。

实验表明，CogViT 在细粒度感知任务上显著优于同规模的通用视觉编码器。RefCOCO 提升 4.8%，PointBench 提升 3.2%，OCRBench 提升 4.2%。这些数字的背后是实际的 Agent 能力差异：更精确的 OCR 意味着 Agent 能正确读取屏幕上的文字，更精确的定位意味着 Agent 能准确点击目标按钮。

✅ 多模态多 Token 预测（MMTP）

Multi-Token Prediction 是一种通过同时预测多个后续 token 来加速推理的技术。但在多模态场景下，如何处理图像 token 是一个工程难题：图像 token 的来源（视觉编码器的输出向量）与文本 token 的来源（词表嵌入）本质上不同，直接混合会导致训练不稳定。

GLM-5V-Turbo 的解决方案是设计一个可学习的 <|image|> 占位符 token：在 MMTP 头部中，图像位置不传入真实的视觉嵌入，而是使用这个特殊的占位符。实验证明这种设计在训练损失和扩展性上都优于直接传入视觉嵌入或完全掩码的方案。本质上，它解耦了视觉信息和文本信息在预测头的处理方式，同时保留了位置信息用于下游解码。

✅ 感知到行动的联合优化

这是论文中最具雄心的部分。智谱团队构建了一个统一的 VLM RL Gym，覆盖超过 30 个任务类别：

感知类：图像定位（grounding）、视频理解、3D 空间推理、OCR、图表理解
推理类：数学、STEM、逻辑推理
Agent 类：GUI 操作（AndroidWorld、OSWorld）、网页导航、工具调用、多模态搜索

关键的设计选择是分层优化：不是直接对长程 Agent 轨迹做端到端 RL（这通常不稳定），而是先在感知层面进行 RL 优化（提升细粒度感知的准确性），再在行动层面进行 RL 优化（提升单步决策的质量），最后在轨迹层面进行优化（提升多步规划的连贯性）。这种分层策略比一步到位的端到端训练更稳定，也更容易归因每一层的贡献。

实验证实了这种分层策略的有效性：感知层的 RL 不仅提升了感知指标，还级联改善了下游 Agent 任务的表现。例如前端代码生成（Design2Code 达到 94.8）和 GUI 操作（AndroidWorld 达到 75.7）。论文将此概括为一个重要的实践洞察：感知是基础性的（Perception is foundational）。系统性地改善感知能力，会带来超出感知本身的全局性收益。

✅ 工具链与框架集成

模型本身不是 Agent。模型加上工具和运行环境才构成 Agent。GLM-5V-Turbo 构建了一套内置工具链（图像裁剪、区域标注、网页浏览、图像搜索等），并与 Claude Code 和 AutoClaw 等外部 Agent 框架进行了深度集成，使模型能够参与从静态预测到动态"感知-规划-执行"循环的完整 Agent 工作流。

✅ ImageMining：一个新的视觉推理基准

论文还提出了 ImageMining 基准，测试模型是否能"用图像思考和搜索"。典型任务需要对图像细节进行局部放大、裁剪，然后以视觉线索为起点在网络中进行深度搜索。这类任务要求模型在视觉感知、推理规划和工具使用之间无缝切换，是当前多模态 Agent 能力的高难度检验。

尚未解决的问题与未来的可能

✅ 模型层面的根本性挑战

跨模态表示的统一问题

当前的多模态模型普遍采用"视觉编码器 + 语言模型"的双塔结构，两个模态的表示空间通过对齐层（如线性投影或交叉注意力）桥接。但"桥接"不等于"融合"。在真正需要视觉信息和语言信息深度交织的推理场景中（例如：根据一张电路图写出故障分析报告），当前模型的表现仍然远不如人类。

如何让视觉和语言真正共享一个统一的表示空间，而非通过投影层做事后对齐，是下一代模型架构需要回答的核心问题。GLM-5V-Turbo 通过 MMTP 和 CogViT 做了有意义的探索，但论文自身也承认，这仍然是一个Open Problem。

视觉推理的深度不足

当前模型在视觉感知（"图中有什么"）上已经相当强，但在视觉推理（"图中的信息意味着什么"）上仍有明显差距。例如：给定一张建筑平面图，推断出"这个房间在下午会有严重的西晒问题"需要将视觉信息（窗户朝向、房间位置）与物理常识（太阳方位随时间变化）和领域知识（建筑热工学）进行跨模态的深度整合。这类推理当前模型还难以胜任。

多模态能力与单模态能力的跷跷板效应

GLM-5V-Turbo 在这个问题上取得了一些进展。它在加入视觉能力的同时保持了文本代码生成能力。可是这些是通过精心的训练策略和数据配比实现的，更像是工程上的平衡艺术而非根本性的解决。

随着任务复杂度和模态数量的增加（例如进一步加入音频、触觉、3D 点云等），这种平衡会越来越难以维持。是否存在一种架构，能够在不互相干扰的前提下持续扩展模态？这是一个开放的研究方向。

✅ 数据层面的瓶颈

高质量 Agent 轨迹数据的稀缺

训练一个能执行 GUI 操作的 Agent 需要大量的"在真实界面上操作的完整轨迹"。包括每一步的屏幕截图、执行的动作、以及动作的结果。这类数据无法像文本数据那样从互联网上大规模爬取，需要通过人工标注或模拟环境生成，成本极高。

而数据的多样性直接限制了 Agent 策略的泛化能力。论文指出，自主策略发现（autonomous strategy discovery）仍然高度受限于训练轨迹的多样性（数据的 scaling 表现在这里，世界知识需要的正是这种 diversity），模型容易陷入策略空间的局部最优。

跨任务数据的分布不均

30+ 个任务类别中，有些任务（如图像描述）的可用数据量级是百万级的，而另一些任务（如 3D 空间推理）的数据可能只有数千条。这种分布不均会导致 RL 训练中的任务间干扰：高数据量的任务主导梯度方向，低数据量的任务欠优化。论文通过分布式批构建和拓扑感知的划分策略来缓解这个问题，但这更多是工程手段而非根本解决。

视觉数据的时效性问题

GUI 界面是持续演变的。操作系统升级、应用更新、网页改版。今天训练的 GUI Agent 在明天可能就因为按钮位置的变化而失效。如何让 Agent 对 GUI 变化保持鲁棒性，或者如何低成本地持续更新训练数据，是工程化部署中的实际挑战。

✅ 系统层面的开放问题

长程多模态上下文的管理

一个真实的 Agent 任务可能持续数十步甚至数百步，每一步都伴随一张或多张屏幕截图。图像数据的体积远大于文本，直接将所有历史截图放入上下文窗口很快会超出限制。但简单地截断历史又会导致 Agent 丢失关键的视觉记忆，比如 5 步之前看到的一个错误提示可能是当前决策的关键信息。

论文指出，无论是朴素的截断策略还是以文本为中心的记忆压缩方法，都无法充分保留图像和视频中的空间与时间依赖关系。如何为多模态 Agent 设计高效的长程记忆机制，仍然是一个未解决的核心难题（长程任务的长上下文问题）。

模型与 Harness 的协同演进

Agent 的实际能力不仅取决于模型本身，还取决于围绕模型的整个系统：工具链、记忆机制、验证逻辑、错误恢复策略。

论文明确提出了"模型-harness 协同设计"（model-agent harness co-design）的概念：模型和 harness 需要联合优化，而非各自独立发展。当前的实践中，模型训练和 harness 工程通常由不同的团队、在不同的时间线上推进，二者之间的反馈循环是松散的。如何建立更紧密的协同演进机制，是工程和研究的交叉问题。

评测的局限性

现有的多模态 Agent 基准主要测试"在给定环境中完成预定义任务"的能力，但真实世界的 Agent 任务往往具有开放性。目标可能是模糊的、环境可能是非预期的、成功标准可能需要人类判断。ImageMining 等新基准在推动评测范围的扩展上做了有价值的工作，但从"完成预定义任务"到"在开放环境中可靠运作"，评测方法论本身还需要根本性的创新。

从视觉到 Agent

回顾全文，一条线索贯穿始终：

5.4 亿年前，三叶虫获得了最原始的光感知能力。从那一刻起，生命不再只是被动的新陈代谢。它开始感知环境、响应环境、试图改变环境。视觉驱动了神经系统的复杂化，驱动了智能的演化。

人类继承了这条演化路径的顶峰，成为极度依赖视觉的物种。我们设计的工具和界面。从书本到屏幕，从命令行到图形界面。都以视觉为主通道。只要人类还在系统中，视觉界面就不会消失。

当 AI Agent 进入人类的工作环境时，它们必须面对这个现实：这是一个为视觉动物设计的世界。一个看不见屏幕的 Agent，就像一个没有眼睛的三叶虫。它可以在某些受限的环境中生存，但无法真正参与到这个世界的交互之中。

GLM-5V-Turbo 代表了沿这条路径前进的一步有意义的探索：通过 CogViT 提升视觉感知的精度，通过 MMTP 统一多模态的生成方式，通过分层 RL 在感知、推理和行动之间建立联合优化，通过工具链扩展将模型连接到真实的执行环境。它在多模态编码、GUI 操作、视觉工具使用等 Agent 基准上取得了有竞争力的成绩，同时保持了纯文本的代码生成能力。它证明了"原生多模态"这条路径的可行性。

前方的道路还很长，视觉推理的深度远未触及人类的水平，跨模态表示的真正统一还停留在探索阶段，长程多模态记忆没有成熟的解决方案，高质量 Agent 数据的获取仍然昂贵且受限，评测方法有待改进，模型与 harness 的协同设计还缺乏系统方法论。

Minsky 在 1986 年写道："看见一个杯子"这件事之所以看起来简单，是因为我们完全不了解它背后的复杂性。当你试图让一台机器做同样的事，你才真正意识到视觉智能的深度。

四十年过去了，我们在让机器"看见杯子"这件事上已经取得了巨大进展。但让机器理解那个杯子，它是瓷的还是塑料的、里面的液体是热的还是冷的、它是不是别人正在用的。然后决定该不该拿它、怎么拿它、拿了之后做什么，这才是多模态 Agent 真正需要解决的问题。

从三叶虫的针孔到 CogViT 的视觉编码器，从 Minsky 的 Agent 社会到 VLM RL Gym 的 30+ 任务类别训练，从李飞飞口中"视觉是智能的基石"到 GLM-5V-Turbo 的"感知是基础性的"。5.4 亿年前那束光开启了智能的进化，而今天人类正在尝试解构并复现这个智能。

多模态模型不只是需要，而是必然。