仅需 5% 训练样本达到最优性能,清华大学研究团队发布条件去噪扩散模型 SPDiff,实现长程人流移动模拟

【行人轨迹预测数据集——ETH、UCY】 行人数据集——ETH、UCY下载地址以及内容简介 ETH数据集很多的下载地址都不对了。这篇博客放了最新的链接。 在ETHz官网找Computer Vision Laboratory得到下载地址 阅读详情

人流移动模拟 (Crowd Simulation) 是在特定情境中模拟大量人员移动的过程。这项技术主要应用于计算机游戏、城市规划、建筑设计以及交通组织等领域。例如,模拟人群在不同条件(如人群密度、流量等)下在建筑物内的移动,帮助决策者评估并优化建筑设计,以提高应急响应和疏散效率。

尽管该领域已经取得了大量的研究进展并且发展迅速,但运动、感觉能力和一系列心理因素的影响使得个体行为在不同情况下变得复杂。由于这种异质人群的高计算复杂性,存在许多不同的挑战,限制了人群模拟的真实性。

来自清华大学电子工程系城市科学与计算研究中心、清华大学深圳国际研究生院深圳市泛在数据赋能重点实验室、鹏城实验室的研究人员,近日在 AAAI 2024 发表论文《Social Physics Informed Diffusion Model for Crowd Simulation》,提出了一种新颖的条件去噪扩散模型 SPDiff,该模型能够有效地利用交互动力学,通过社会力引导的扩散过程来模拟人群行为。

受多粒子动力系统的运动特性的启发,模型同时集成了等变性的强归纳偏差,以增强模型对变换的泛化能力,从而获得更好的性能。此外,模型进一步开发了适用于扩散模型的长程训练算法,以保证模型结果长程的物理一致性。该方法将刻画人流移动性质的社会力模型等社会物理知识,嵌入到深度学习模型的设计中,实现了知识-数据协同驱动的研究范式。

图片

论文链接:

https://arxiv.org/abs/2402.06680

代码链接:

https://github.com/tsinghua-fib-lab/SPDiff

关注 HyperAI超神经公众号,后台回复「人流移动」下载完整论文

人群运动的异质性和多模态性

行人移动模拟是在特定场景中微观模拟大量人员移动的过程,主要关注群体交互对人群移动的影响。这项技术在城市规划、建筑设计和交通管理等领域具有主要应用。例如,对人流在公共交通换乘站(如机场和火车站)的移动进行真实的模拟,有助于分析在面对大量乘客流量时换乘站的效率和安全性,并进一步促进对建筑空间设计的优化。

图片

图片

社会力模型的公式表示终点驱动力 fdest,行人斥力 fped,环境和障碍物的斥力 fenv

人群运动具有两个核心特征,即异质性 (heterogeneity) 和多模态性 (multi-modality)。

首先,人群中的个体行为是异质的,受到个体偏好和周围环境的影响,人类会产生复杂的时空轨迹。 例如,在购物中心中,行人会根据个人兴趣和购物中心的布局以不同的速度移动,同时遵循不同的路径。这会导致人们产生随时间变化的多样且复杂的运动模式,从而产生真实的轨迹。

早期的研究方法尝试在社会物理学的研究领域,以基于物理规则的模型来解释行人运动背后的机制,进而从异质特性背后抽离出行人运动的本质特征,例如社会力模型。这些方法存在模拟轨迹不够真实自然的问题。

其次,人类行为固有的不确定性会导致行人轨迹的不确定性,通常称为人类移动的多模态性。 早期的研究对轨迹的随机性分布做出了简化的假设,例如使用高斯分布来建模多模态性,后续的方法利用生成模型,如生成对抗网络 (GANs) 和变分自编码器 (VAEs) 来生成多模态的样本。

近年来,扩散模型作为一个热门的生成模型,已经在许多生成任务中展现出最先进的性能,为了实现真实模拟,本研究全面考虑了以上所讨论的两个需要关注的角度,希望利用扩散模型在建模复杂多模态分布时的优异性能,并利用以社会力模型为代表的社会物理知识来指导本研究扩散模型框架的设计。

扩散模型 + 多帧推演训练算法:实现长程移动模拟

与逐步重构观测数据分布的扩散模型不同,社会力模型将人群的运动化为一个多粒子动力系统,并且在每个时间帧中直接对每个行人的观测数据施加物理约束。因此,将这种知识融入在去噪中间过程中的含噪数据上的操作是困难的。

同时,行人移动模拟涉及多个行人和多个时间帧的数据生成任务。现有的方法通常利用扩散模型,一次性生成整个序列。然而,在本工作的问题中,一次性生成整个模拟轨迹无法在每个时间帧对每个行人结合社会力模型进行有效的引导。

此外,由于生成数据的高维性质,一次性生成可能会遇到效率和有效性问题。因此,对于现有的扩散模型框架来说,实现长期模拟并同时保持模拟结果的稳定性是一个具有挑战性的问题。

为了解决上述挑战,本研究提出了一种用于行人移动模拟的条件去噪扩散模型。该模型具有以下特点:

  • 包含一个人群交互模块, 从社会力模型中获取见解以指导去噪过程;

  • 集成了从多粒子动力系统中导出的等变性质,增强了模型在变换中的泛化能力并优化了数据效率。

图片

方法整体框架

如图所示,SPDiff 使用一个图网络 (graph network) 来建模场景。 在图中,每个行人通过有向边与视野中的附近行人和障碍物建立相互作用关系。提出的扩散模型利用图的节点和边信息、历史状态和行人终点信息作为条件输入,并利用扩散模型采样行人未来加速度在下一个时间帧的分布,进而更新下一时刻所有行人的状态。迭代这一过程即可实现任意时长的行为模拟。

在扩散模型去噪网络的设计上,为了把人类移动的物理知识融入扩散模型,我们将神经网络模型建立在原始社会力模型的基础上,并替换其核心项和,终点的牵引力可以由公式直接计算得到,在此之上使用图神经网络 (Graph Network, GN) 算法实现从行人状态到社会力预测的过程。

此外,行人交互具有等变性,即交互作用会随着对行人构成的类粒子系统的变换(如平移旋转等)而发生相同的变换或不变。为了融入这样的物理特性,交互信息通过一系列等变图卷积网络层 (EGCL) 进行处理,以提升模型的训练效率和物理一致性。

最后,每位行人的历史移动状态通过长短时神经网络 (LSTM) 处理,引入历史处理模块归因于人类倾向于避免过多改变运动状态以节省能量的先验认知。

图片

扩散模型的参数化去噪神经网络设计

为了实现具有物理一致性的长程移动模拟,本工作进一步设计了一种多帧推演训练算法。 如下图所示,扩散模型在训练过程中在定义的时间窗口内模拟轨迹,并计算累积误差作为损失函数以梯度下降更新模型参数。该学习过程对模型在长程模拟中忽视物理一致性的短视行为进行惩罚,以此让模型获得长程模拟的泛化性。

图片

所提多帧推演训练算法示意图

实验结果:仅需 5% 训练数据量,达到最优性能

为了评估本文模型的有效性,本研究引入了两个真实世界数据集:GC 数据和 UCY 数据集。 这两个数据集在场景、规模、持续时间和行人密度上都有所不同,可以用来验证模型的泛化性能。

该研究将基线方法分为三类:

  • 基于物理的方法(社会力模型 SFM、元胞自动机 CA)

  • 纯数据驱动的方法 (STGCNN、 PECNet、MID)

  • 物理知识融合的方法 (PCS、NSP)

对比实验验证了所提方法相对于最先进基线方法的显著性能提升,从微观指标 (MAE、DTW) 和宏观模拟真实性指标 (OT、MMD) 上看,提升幅度范围为从 6% 至 37%。

图片

主实验UCY数据集下性能对比加粗处为最佳性能,下划线处为次佳性能

为了进一步探究每个时间帧中的模拟精度表现,本实验检查指标随模拟时间帧的变化情况。可以看到,指标随时间会表现出交替上升和下降的振荡变化,即出现多峰现象。上升可以归因于长程模拟期间累积产生的误差,下降可以归因于这个三个模型都会将行人「牵引」至终点处。

整体来看,本文提出的方法相比其他两个基线能在很长一段时间里持续地保持较低误差,这体现了本方法模拟的精度。

图片

指标随模拟时间帧的变化情况

使用数据集UCY和GC,使用OT和MMD作为指标

本研究进一步探索了方法中每个关键设计对性能提升的贡献,分别验证在没有社会物理知识融合下、没有历史处理模块下和没有多针推演训练算法下模型的表现。

下图的实验结果表明,任何一个组件的删除都会导致模型性能的某种程度的下降,这证明了每组设计的有效性。 注意到当移除与社会物理指导相关的设计时,模型性能损失最大,体现了在人群模拟中融合社会物理知识的必要性。

图片

模型不同模块的消融实验,NC 表示不收敛

最后,本文研究等变设计在人群交互模块中引入的归纳偏差对性能的影响。在将等变图卷积层退化为非等变网络时,探究不同训练数据量和训练周期下模型的性能变化。可以看到,如图所示,使用等变图神经网络的模型在几乎所有的训练样本比例下始终优于使用非等变模型。即使只使用训练数据的 5%,原始的模型仍然能保持优异的性能。

具体而言,在训练样本比例为 5% 的情况下,SPDiff 的 MAE 指标相对于 100% 训练样本比例时几乎没有下降,最大降幅仅为 2.5%。与非等变设计相比,等变设计在 MAE 指标上提高了最多 13.2%,在 OT 指标上提高至多了 22%。这表明得益于等变设计的帮助,本文提出的模型只需借用少量的样本就能获取相当于大量数据训练后的泛化能力。


图片

MAE 在不同训练样本比例下的变化情况

结语

本文提出了一种新的基于条件去噪扩散模型的人流移动模拟方法,通过物理引导的条件扩散过程,该模型能够有效地利用人群移动的已知状态信息进行行人移动模拟。

受到著名的社会力模型的启发,所提出的等变人群交互设计和多帧推演训练算法分别解决了宏观和微观上模拟的真实性以及长程模拟的稳定性挑战。该方法将生成式建模引入人流移动的相关研究,探索了社会物理知识和生成式深度模型的结合手段。


召集令

HyperAI超神经是最早一批关注 AI for Science** 的开放社区,持续通过解读国内外前沿论文的方式,将最新研究成果进行分享与推广宣传。

欢迎正在围绕 AI for Science 开展研究探索的课题组、研究团队与我们联系,分享最新研究成果、投稿深度解读文章等等,更多推广 AI4S 的方式等待我们共同探索!

添加微信:神经星星 (微信号:Hyperai01)

行人轨迹预测实战:ETH与UCY数据集深度解析与应用指南 本文深度解析了行人轨迹预测领域两大经典数据集ETH与UCY,详细介绍了其数据格式、获取方式与核心特点。通过实战指南,手把手演示了从数据预处理(如坐标转换、轨迹切片)到以Social-LSTM模型为例的完整应用流程,并提供了关键的避坑指南与评估指标,帮助开发者快速入门并高效利用这些基准数据集进行模型训练与验证。 阅读详情

相关推荐

5个自动驾驶开发者必备的行人轨迹预测数据集(含ETH/UCY实测对比)

本文深入解析了5个自动驾驶开发者必备的行人轨迹预测数据集,包括ETH、UCY等经典数据集的实际对比与应用建议。重点探讨了数据集选择标准、技术实现细节及场景适用性,帮助开发者优化自动驾驶系统中的行人轨迹预测模型。文章特别强调了ETH数据集在复杂社交互动场景中的优势,为算法开发提供实用指导。

weixin_29208327的博客 466

自动驾驶中的轨迹预测数据集汇总!

作者|冯偲 编辑|汽车人原文链接:https://zhuanlan.zhihu.com/p/555618753点击下方卡片,关注“自动驾驶之心”公众号ADAS巨卷干货,即可获取点击进入→自动驾驶之心技术交流群后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文!1.nuScenes下载链接:https://www.nuscenes.org/预测类别:车辆 ,行人等202...

CV_Autobot的博客 1万+

自动驾驶轨迹预测论文阅读(二)TPNet: Trajectory Proposal Network for Motion Prediction

自动驾驶轨迹预测论文阅读

learning_man的博客 4652

Recursive Social Behavior Graph for Trajectory Prediction(CVPR2020阅读笔记)

Recursive Social Behavior Graph for Trajectory Prediction 用于轨迹预测的递归社会行为图 摘要 1引言 2相关工作 3方法 4实验 5结论 用于轨迹预测的递归社会行为图 收录于CVPR2020 作者:Jianhua Sun , Qinhong Jiang , Cewu Lu 论文地址:https://arxiv.org/abs/2004.10402 发表时间:22 Apr 2020 摘要 社会互动是人类轨迹预测中产生合理路径的重要主题。 在本文中,

Sun_ZD的博客 2655

数据集收集

时间序列/信号处理开源数据集:https://zhuanlan.zhihu.com/p/24674409 国内数据:链接:http://pan.baidu.com/s/1i5nyjBn 密码:26bm 好玩的数据集:链接:http://pan.baidu.com/s/1bSDIEi 密码:25zr 微软数据:链接:http://pan.baidu.com/s/1bpmo6uV 密码:286q

chenzhi1992的博客 6855

sgan数据集深度解析:ETH与UCY行人轨迹实战应用

sgan模型广泛采用ETH和UCY两大公开行人轨迹数据集,包含Zurich、Hotel、Zara、Lisbon等五个真实场景。这些数据通过固定多视角摄像头采集,以2.5Hz频率记录行人在城市空间中的二维坐标(x, y),并经过手动精标注保证轨迹连续性与位置精度。行人轨迹数据通常以表格形式组织,其中每一行代表某一时刻某一行人的观测状态。典型的CSV文件中包含以下核心字段:字段名类型含义说明frame_id整数视频帧编号,表示该记录对应的时间点track_id整数。

weixin_35982453的博客 1179

Social LSTM全文翻译

社会LSTM:拥挤空间中的人体轨迹预测 行人遵循不同的轨迹以避开障碍物并容纳同行的行人。任何在这种场景中导航的自动车辆都应该能够预见行人的未来位置,并相应地调整其路径以避免碰撞。这个轨迹预测问题可以看作是一个序列生成任务,我们感兴趣的是根据人们过去的位置预测他们未来的轨迹。根据最近用于序列预测任务的递归神经网络(RNN)模型的成功,我们提出了一种LSTM模型,该模型可以学习一般的人体运动并...

u011252103的博客 5005

行人检测训练库行人检测训练库

行人检测训练库,负样本12000,正样本2400.

AgentFormer翻译

摘要 预测多个智能体的准确未来轨迹对于自治系统至关重要,但由于智能体之间的复杂交互以及每个智能体未来行为的不确定性,因此具有挑战性。 预测多智能体轨迹需要对两个关键维度进行建模:(1)时间维度,我们对过去智能体状态对未来状态的影响进行建模; (2) 社会维度,我们对每个代理的状态如何影响其他代理进行建模。 大多数先前的方法分别对这两个维度进行建模,例如,首先使用时间模型独立地总结每个代理随时间的特征,然后对总结的特征与社会模型的交互进行建模。 这种方法是次优的,因为在时间或社​​会维度上的独立特征编码会导

weixin_43889128的博客 1376

Dify部署后访问报502?手把手教你排查和修复Nginx反向代理问题

本文针对Dify部署后常见的502 Bad Gateway错误,提供了从基础容器状态检查到Nginx配置与Docker网络诊断的完整排查流程。详细解析了错误本质,并给出动态服务发现修复与静态IP配置两种解决方案,帮助开发者彻底解决Nginx反向代理问题,确保Dify平台稳定访问。

rnn9storyteller的博客 1096

华为防火墙 策略路由实现多ISP接入Internet

PC3上网访问Server1时走ISP1。PC4上网访问Server1时走ISP2。1、配置接口IP并加入相应的安全区域。二、ISP2 运营商 R2路由器。一、ISP1 运营商 R1路由器。

一直被模仿,从未被超越 3016

python数据集获取与基本使用(sklearn自带的数据集、UCI数据集)

sklearn自带的数据集以及生成数据集自带的小数据集鸢尾花数据集:load_iris():用于分类任务的数据集手写数字数据集load_digits()乳腺癌数据集load-barest-cancer()糖尿病数据集波士顿房价数据集体能训练数据集:生成数据集 sklearn 的数据集种类 自带的小数据集(packaged dataset):sklearn.datasets.load_ 可在线下载的数据集(Downloaded Dataset):sklearn.datasets.fetch_ 计算机生成的数

haoweixl的博客 3万+

UE5 StateTree实战:用分层状态机重构你的AI行为逻辑(附蓝图配置避坑点)

本文详细介绍了UE5中StateTree分层状态机的实战应用,帮助开发者重构AI行为逻辑。通过核心概念解析、迁移策略、高级技巧和避坑指南,展示了StateTree在灵活性、可维护性和并行处理方面的优势,特别适合复杂AI行为的开发与优化。

weixin_42558257的博客 249

文献阅读2_2_G2LTraj

根据Fig1显示,由于关键步骤都是同时生成,导致这些步长都缺乏相互约束,可能会导致运动学上的不可行预测。Fig1: (a)像Graph- TERN这样先进的模型没有办法很好地将未来步长之间的约束表示出来,导致运动学上的预测不可行。对于ETH和UCY的任务是基于观测到的8个步长(3.2秒),预测未来12个步长,即4.8秒。累积误差5和10分别是每个未来步骤于地面实值L2距离的平均值,分别超过5个和10个最有可能的预测值。nuScenes的任务是通过给定的4个步长和高清HD地图来预测未来的12个步长。

Rrrrrr900的博客 956

解决嵌入式设备中PL2303驱动在Windows及后续版本不兼容的问题

随着Windows操作系统的不断升级,一些老旧的嵌入式设备驱动程序可能无法在新版本的Windows上正常运行。在较新的Windows版本上,例如Windows 10及后续版本,PL2303驱动程序可能无法正常工作。这是因为Windows操作系统的升级导致了对驱动程序的更严格的要求,旧版本的驱动程序无法满足这些要求,从而导致设备无法正常连接和通信。下载后,将驱动程序保存到您的计算机上的一个目录。由于PL2303驱动程序可能没有通过最新的驱动程序签名验证,我们需要在安装过程中禁用驱动程序签名验证。

YdcuSyntax的博客 2047

使用Simulink进行基于IIR滤波器的设计与稳定性分析仿真

IIR滤波器的稳定性与其系统函数的极点位置密切相关。如果所有极点都位于Z平面的单位圆内,则该滤波器是稳定的;否则,滤波器将是不稳定的。在设计IIR滤波器时,确保其稳定性对于避免输出信号发散至关重要。明确你的系统需求,比如输入信号类型(如正弦波)、采样率、IIR滤波器的设计参数(如滤波器类型、阶数、截止频率等)。假设我们需要设计一个低通IIR滤波器,用来去除高于500Hz的所有频率成分,保留低于500Hz的信号成分。采样率为8kHz。

xiaoheshang_123的博客 151

计算机视觉算法实战——行人轨迹预测

行人轨迹预测是计算机视觉和机器学习交叉领域的一个重要研究方向。其核心任务是通过分析行人的历史轨迹数据,预测其未来的移动路径。这一任务不仅需要考虑行人自身的运动模式,还需要考虑周围环境、其他行人、障碍物等因素的影响。行人轨迹预测的应用场景非常广泛。例如,在智能监控系统中,预测行人的轨迹可以帮助提前发现异常行为;在自动驾驶领域,预测行人轨迹可以提高车辆的安全性和行驶效率;在机器人导航中,预测行人轨迹可以帮助机器人更好地规划路径,避免碰撞。在众多算法中,Social-LSTM 是目前性能最好的算法之一。

m0_65481401的博客 3134

【目标检测-YOLO】YOLOv5-v5.0-yolov5s网络架构详解(第一篇)

源码:GitHub - ultralytics/yolov5 at v5.0 由于YOLO v5 代码库在持续更新,如上图,有多个版本,每个版本的网络结构不尽相同。以下内容以 v5.0 为准,网络结构选用 yolov5s。 为了方便画图和理解网络结构,选用可视化工具:Netron 网页版进行可视化, 然后使用PPT作图。 在Releases · ultralytics/yolov5 · GitHub找到 v5.0中的Assets 中的yolov5s.pt并下载该权重。 下图为直接......

博观约取,厚积薄发 2万+

UCI数据集详解及其数据处理(附148个数据集及处理代码)

摘要:本文对机器学习中的UCI数据集进行介绍,带你从UCI数据集官网出发一步步深入认识数据集,并就下载的原始数据详细讲解了不同类型的数据集整理如何通过程序进行整理。为了方便使用,博文中附上了包括数据集整理及数据预处理在内的所有代码及处理好的数据集,同时对代码进行了解释,其要点如下:UCI数据集介绍、不同数据集的整理程序、148个整理好的数据集与对应程序。

思绪无限的博客 11万+

汽车标定技术(五)--基于模型开发如何生成完整的A2L文件(1)

A2L文件的生成分为两章讲解:本文主要是讲模型开发,讲解如何把标定量、观测量放到链接文件中的指定位置。下一篇讲解如何使用matlab生成完整的A2L文件

认真搞搞汽车MCU 4624

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Social LSTM:Human Trajectory Prediction in Crowded Spaces 翻译

Social LSTM:Human Trajectory Prediction in Crowded Spaces 翻译 近期学习研究相关方向论文,Social LSTM算是比较经典的一篇,阅读过程中简要翻译,分享给有同样阅读需要的人,翻译比较简单,仅供参考。 Social LSTM:Human Trajectory Prediction in Crowded Spaces 原文论文链接 摘要 行...

zxmil的博客 3965

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

AI 写的测试测的是它自己:断言锁死输出,功能改错它也测不出来

AI 生成的测试跑得勤、全绿、上线前不报错,但三个月后维护时发现它已经"测的是自己"——断言用实现逻辑生成期望值,功能改错了测试还是绿的。这篇用一组沙箱演练量"可测性":同一个实现、同一批订单、两版测试(AI 风格·字面量锁死 vs 人写规范·业务谓词),走三组对照。结论反直觉:需求不变时两版测试都绿;需求一演进,A 版测试先误报(锁死输入结构,代码没 bug 却红),"修"完就变成测自己,之后功能改错它照样绿;B 版测试不误报、改错就红。跑得绿不等于测得住。

四六的六专栏 272

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 363
上一篇: 部署到 Adreno™ GPU
下一篇: 在 Android 上部署预训练模型
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值