61、自然语言代理的虚拟环境与智能停车推理

自然语言代理的虚拟环境与智能停车推理

1. 自然语言代理的虚拟环境框架

1.1 框架概述

VEsNA 是一个通用、无领域限制、可扩展且灵活的框架，允许用户使用自然语言与虚拟环境进行交互。用户通过聊天界面和外部视角的虚拟场景进行操作。该框架主要实现了两方面的通信：一是用户与多智能体系统（MAS）之间的自然语言通信；二是 MAS 与虚拟现实之间的通信。

1.2 框架架构及组件通信

• 用户与 MAS 通信 ：在 MAS 中，有一个名为“prompter”的智能体，专门负责在场景中添加和移除对象。用户可以使用自然语言指令，如“Add a table in front on the right”或“Add a chair to the left of the table”，让 prompter 进行操作。添加的对象是静态的，不可移动。
• MAS 与虚拟现实通信 ：prompter 和 Godot 通过 WebSocket 连接，使用 JSON 格式的结构化消息进行通信。这种通信方式使得框架的组件之间能够清晰地交互，并且便于后续替换其中一个组件为符合等效 API 的组件。

1.3 智能体的添加与交互

框架还支持向场景中添加智能体。MAS 实现智能体的“大脑”，Godot 实现其“身体”，二者同样通过 WebSocket 协议交换 JSON 消息进行通信，形成“具身智能体”。每个具身智能体有自己的私有端口用于内部通信，这意味着智能体的“大脑”只能访问其“身体”所获取的信息。当用户添加具身智能体时，pr