上交大最新ChatDyn：一句话操纵三维动态-优快云博客

点击下方卡片，关注“自动驾驶之心”公众号

今天自动驾驶之心为大家分享上交&上海AI Lab最新的工作—ChatDyn！自然语言控制三维虚拟世界里多角色的动态行为与交互。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『大模型』技术交流群

论文作者 | Yuxi Wei等

编辑 | 自动驾驶之心

理解和生成真实的三维虚拟世界是空间智能的核心。所生成的三维虚拟世界能够为自动驾驶、具身智能等AI系统提供高质量闭环仿真训练场，高效提供源源不断的训练数据，并以极低成本合成罕见情景进行测试。目前，虽然我们有了Diffusion,三维虚拟世界的画质呈现大幅提升，但是虚拟世界中前景物体交互行为的一致性、可靠性、可控性仍然很低，限制了这一领域取得实质性突破。

为了突破现有困境，上海交通大学人工智能学院陈思衡团队联合上海人工智能实验室，马普所，苏黎世联邦理工和香港大学的研究者们重磅推出ChatDyn，这是首个实现自然语言驱动的街景多参与者互动与真实动态生成的系统，统筹考虑高层次的规划和低层次执行，一并生成丰富并带有交互信息的交通参与者动态。如样例1所示，输入指令“A person is taking a taxi at the left roadside, and a vehicle overtakes the taxi. Two persons are walking together with one's arm around another's shoulder. A person is chasing another person along the roadside.”即可生成相关动态场景，包括了人与人交互，人与车交互等复杂动态交互。

样例 1（上图白膜，下图带蒙皮）包含多种不同交互类型（人车交互，人人交互），并能够依据高层级轨迹控制行人、车辆动态。指令：A person is taking a taxi at the left roadside, and a vehicle overtakes the taxi. Two persons are walking together with one's arm around another's shoulder. A person is chasing another person along the roadside.

ChatDyn的核心理念在于结合高层次规划与低层次控制，以创建一个真实的仿真系统。大型语言模型（LLM）擅长高层次规划，而基于物理的方法则非常适合生成细粒度的低层次控制。基于这一观察，ChatDyn将多LLM代理用于高层次规划，并结合基于物理的执行器进行低层次生成。通过集成高层次和低层次组件，ChatDyn允许用户输入语言指令来指定需求。然后，它会根据指定的场景生成真实的动态，涵盖包括行人和车辆在内的多种交通参与者，并支持参与者之间复杂多样的互动。

主页链接：https://vfishc.github.io/chatdyn/
论文链接：https://arxiv.org/pdf/2412.08685

ChatDyn整体设计

ChatDyn能够解读并分析用户的语言指令，然后生成与之相符的场景动态。ChatDyn采用了两阶段的处理流程：高层次规划阶段负责在复杂和抽象的指令下规划轨迹和行为；低层次生成阶段则负责生成细粒度的真实动态。由于用户指令可能包含许多需要精确控制的具体细节，以及需要理解的抽象语义，ChatDyn利用多LLM-agent角色扮演方法，将每个交通参与者视为一个LLM-agent。该方法充分利用了LLM在理解语义信息和广泛常识上的能力，通过特定的工具和交互过程完成高层次的轨迹和行为规划。每个交通参与者的对应代理还配备了一个执行器作为工具之一。在高层次规划完成后，执行器利用规划结果执行低层次生成过程。执行器基于高层次规划生成细粒度、真实且物理上可行的动态。

图 1 ChatDyn系统结构

基于规划的行人动态生成

行人执行器（PedExecutor），根据高层次规划中规划的轨迹和行为生成低层次的行人动态。行人行为可以细分为由语言直接指定的单一代理行为和多个代理之间发生的互动行为。因此，挑战在于如何同时处理轨迹跟随、单一代理的运动规范以及多代理之间的互动，同时保持类人品质。为此，PedExecutor利用统一的多任务训练，通过单一策略执行LLM规划的轨迹、单一代理行为和多代理互动。PedExecutor采用了多任务统一训练的方式，能够使用一个策略网络实现多种不同控制信号下的生成，并能够完成预先设定的交互行为且结合物理引擎得到相应的物理反馈。为了提升最终行人动态的质量和真实性，动作空间采用了层级控制提供先验信息，而奖励函数使用身体遮蔽的对抗性运动先验（AMP）来鼓励类人的控制行为。最终，PedExecutor返回的动态能够遵循规划轨迹并完成预期行为，从而生成真实的行人动态。

图 2 PedExecutor结构设计

基于规划的车辆动态生成

车辆执行器（VehExecutor），根据高层次规划的轨迹生成最终的真实且物理上可行的车辆动态控制策略，这些轨迹在初始阶段可能会违反某些动态约束。为了引入物理约束并实现精确控制，VehExecutor利用基于物理的过渡环境，并结合历史感知的状态和动作空间设计。最终的动态通过累积车辆的位置和航向信息从环境中获得。

图 3 VehExecutor结构设计

实验结果

系统整体效果

我们在开头展示了系统输出来自两个场景。每个生成的输出都包含了丰富的交通参与者，基于用户的指令进行生成。从系统的输出中，我们可以看到以下几点：（i）互动得到了全面展示，包括人车互动（例如打车、避让、减速）、车与车的互动（例如换道、超车），以及人与人之间的互动（例如推搡、追逐、肩并肩走）。不同类型交通参与者之间的这些互动使得场景动态更加多样化和真实；（ii）系统实现了精确和细致的控制，每个场景描述都较为复杂，可能包含抽象的语义信息。通过多LLM-agents角色扮演的设计，复杂的指令得到了准确分析和执行，抽象的语义信息有效地被分解成可执行的指令，最终生成动态；（iii）生成的结果高度逼真。基于物理的控制策略使行人和车辆的动态表现得既真实又直观，特别是在展现人与人之间的互动时，突出体现了物理反馈。指令：A person pushes another person, and another person is making a phone call, then walks along the roadside. A vehicle turns right at the intersection, and a hurried vehicle overtakes a stationary one.

样例2（上图白膜，下图带蒙皮）包含多种交互，能够实现交互的物理反馈，并能够控制行人、车辆进行具体细致的行为。指令：A person pushes another person, and another person is making a phone call, then walks along the roadside. A vehicle turns right at the intersection, and a hurried vehicle overtakes a stationary one.

高层次规划对比

我们将LLM agent生成的规划轨迹与现有的基于语言的交通生成方法进行比较，验证高层级规划的结果是否让用户满意。结果表明，ChatDyn始终生成更准确的规划结果，这些结果更符合描述，且更受用户偏好。我们还提供了视觉示例，其中也展示了ChatDyn在包含行人的场景中的一些规划结果。ChatDyn能够准确满足需求，生成符合规范的高质量输出，即使在涉及行人的场景中也能表现优异。

表 1 高层次规划对比

图 4 高层次规划对比

行人动态生成对比

我们评估了PedExecutor在轨迹跟随和动作模仿任务中的表现。在分层控制和相关训练策略的支持下，PedExecutor生成了更高质量的动态，并在跟随和模仿任务中展示了高度竞争的表现。我们还评估了执行互动任务的过程，以确定每种方法在完成这些任务中的有效性。凭借分层控制和身体遮蔽的AMP，PedExecutor不仅在任务成功率上表现优秀，还能保持高质量、类人的输出。

表 2 PedExecutor模仿与跟随任务对比

表 3 PedExecutor交互任务对比

图 5 PedExecutor交互任务可视化对比

视频 3. PedExecutor对比视频

车辆动态生成对比

我们通过测量位置误差和速度误差，评估了VehExecutor在不同初始速度下的精度。VehExecutor在所有速度下始终表现出最佳的准确率。

表 4 VehExecutor对比实验结果

视频 4 VehExecutor对比视频

总结

ChatDyn的突破，标志着我们在模拟真实世界动态方面迈出了重要一步。通过将大型语言模型（LLM）的高层次规划能力与基于物理的方法的低层次控制相结合，ChatDyn能够精确地执行复杂的语言指令，从而生成街道场景中交互式、可控制及真实的参与者动态。这种结合不仅提高了模拟的准确性，还极大地增强了虚拟环境的真实感和沉浸感。ChatDyn能够细致全面地模拟场景物体动态，进而能够作为先验辅助下游方式例如渲染引擎、生成模型等进行成像，助力构建更加真实，可控的世界模型。ChatDyn中的相关方法也能够在特定优化下应用于室内等场景，进行室内场景的动态仿真。

① 2025中国国际新能源技术展会

自动驾驶之心联合主办中国国际新能源汽车技术、零部件及服务展会。展会将于2025年2月21日至24日在北京新国展二期举行，展览面积达到2万平方米，预计吸引来自世界各地的400多家参展商和2万名专业观众。作为新能源汽车领域的专业展，它将全面展示新能源汽车行业的最新成果和发展趋势，同期围绕个各关键板块举办论坛，欢迎报名参加。

② 国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

③全网独家视频课程

端到端自动驾驶、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）