VLN创始人吴琦团队再出手：Fast-SmartWay让机器人一步推理，直达目标

Fast-SmartWay：端到端机器人导航新范式

最新推荐文章于 2025-12-02 17:34:22 发布

原创最新推荐文章于 2025-12-02 17:34:22 发布 · 490 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#机器人

导读

让机器人理解一句话并在现实世界中走对路，这件事看似简单，却一直是视觉语言导航（VLN）研究中最棘手的挑战。过去的做法往往要求机器人在原地转一圈，拍下12张全景照片，再由复杂的两阶段模型（waypoint预测 + 路径决策）推理出下一步动作。虽然准确，但代价是——慢、重、且不现实。来自阿德莱德大学与EPFL的研究团队提出了一个更“聪明”的新思路：Fast-SmartWay。它让机器人只靠三个前向视角的RGB-D图像和自然语言指令，就能一步到位地输出导航动作。更厉害的是，它还引入了一套“不确定性推理系统”，能在混乱场景中自动反思、重规划。

结果？导航成功率更高，延迟却几乎减半。这让“零样本导航”真正从实验室走向了现实。

论文出处：arXiv2025

论文标题：Fast-SmartWay: Panoramic-Free End-to-End Zero-Shot Vision-and-Language Navigation

论文作者：Xiangyu Shi, Zerui Li, Yanyuan Qiao，Qi Wu

论文链接：https://arxiv.org/pdf/2511.00933

在以往的导航系统里，机器人要先用360°相机生成全景图，再由waypoint预测器挑出几个可能的候选点，最后交给大语言模型（LLM）来判断往哪走。这种两阶段流程不仅慢，而且各模块割裂：预测器只看RGB-D，根本不了解语言语义。

Fast-SmartWay 则直接打破了这种分工。它只看左、中、右三个前视角图像，把这些视觉信号与语言指令一同输入多模态大模型（MLLM），由模型一次性输出两个核心动作参数：转向角度与前进距离。

这意味着机器人不再需要候选点筛选，而是能“直接思考”该往哪走。

为了让模型理解空间结构，作者设计了一个 空间-语义文本描述模块：它将深度图中的障碍信息转成自然语言提示，比如“向左30°方向有障碍物2.5米”，再与识别出的语义物体（如“钟表”“厨房”“楼梯”）一并组成提示输入。

这样，大模型能在语言层面理解环境布局，像人一样“想清楚再走”。

图1｜上半部分展示了以往的VLN-CE流程：机器人需要收集12张全景RGB-D图像，通过waypoint预测器挑出可能的路径，再结合指令决定下一步动作。下半部分是Fast-SmartWay的设计：只需三张前向视图，模型就能在一次推理中直接输出导航决策，实现真正的端到端控制

不再依赖全景相机输入的端到端零样本导航

Fast-SmartWay取消了传统的“全景观察 + waypoint预测”两阶段结构，仅依靠三个前向RGB-D图像即可完成导航决策。

模型直接预测“转向角”和“前进距离”，不再生成离散候选点，从而实现视觉与语言的深度融合。

这种设计显著降低了系统延迟：在真实机器人上，平均每步总耗时仅12.39秒，仅为SmartWay的42.4%，并且减少视觉输入并不会削弱模型表现，反而使导航更快、更稳定、更易部署。

图2｜展示了Fast-SmartWay的完整导航过程。在起始阶段，机器人先采集一次全景图建立环境认知；随后的导航仅依赖三张前向视图。系统会先生成结构化提示（prompt），提取空间与语义信息，再交由多模态大模型（MLLM）进行逐步推理。如果模型检测到“困惑”状态，就会触发Disambiguation模块重新扫描并规划路线。图中的平台为Hello Robot，搭载Intel RealSense相机，用于实地测试