基于 7 大城市实景数据,清华大学团队开源 GPD 模型

国内外交通数据集介绍(附参数说明) 本文对国内外部分交通数据集进行了介绍、对相关参数的进行了说明。 阅读详情

城市,是人们安居乐业的故土,是政府开展经济建设的基石,承载着细腻的人文情怀与宏伟的国家发展脉络。长期以来,管理者一直在探寻更加高效、科学的城市治理方法,解决不同地区资源供给不平衡、交通拥挤、人口流失等问题。在物联网、AI、大数据等技术的加速迭代下,智慧城市应运而生,在越来越多的国家开始了因地制宜的革新。

如果将智慧城市建设比喻成「盖房子」,那么时空数据便是必不可少的「砖瓦」,基于时空数据的时空预测模型更加是构成智慧城市框架的重要基础。时空数据,顾名思义,记录了事件在时间和空间两个维度上的发生与变化,包含地理信息、气象数据、交通数据、人口数据、卫星遥感数据等。

但是,由于城市发展水平不尽相同、数据收集政策也存在差异,导致部分城市的时空数据匮乏,难以支撑预测模型的构建。对此,现有方法主要是利用数据丰富的源城市数据训练模型,并将其应用于数据稀缺的目标城市。但这一过程往往依赖于复杂的匹配设计,如何实现对源城市和目标城市之间更加泛化的知识迁移仍是一个重要挑战。

针对城市计算中广泛存在的数据稀缺性问题,清华大学电子工程系城市科学与计算研究中心发布了最新研究成果《Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation》,提出了 GPD (Generative Pre-Trained Diffusion) 模型, 利用扩散模型生成神经网络参数,将时空少样本学习转变为扩散模型的预训练问题。该研究已被ICLR2024接收,数据代码均已开源。

其优势在于,通过预训练一个扩散模型,从源城市的数据中学习到有关优化神经网络参数的知识,然后根据提示生成适应目标城市的神经网络。

图片

论文链接:
https://openreview.net/forum?id=QyFm3D3Tzi
数据集下载链接:
https://hyper.ai/datasets/30453

关注公众号,后台回复「清华GPD」下载完整论文

覆盖多城市的人流与交通数据集

研究人员在两种类型的时空预测任务上进行了实验——人群流动预测、交通速度预测。

在人群流动预测中,研究人员在 3 个真实世界数据集上进行了实验,包括纽约市、华盛顿特区和巴尔的摩。每个数据集包含所有区域的每小时城市人流量。

图片

人群流动预测的3个真实世界数据集

在交通速度预测中,研究人员在 4 个真实世界数据集上进行了实验,包括 MetaLA、PEMS-BAy、滴滴成都和滴滴深圳。

图片

交通速度预测的4 个真实世界数据集

在上述两个测试任务中,研究人员将数据集分类为源城市与目标城市。例如,如果将某个特定城市设置为目标数据集,则假设只能访问有限数量的数据,如 3 天的数据(现有模型通常需要几个月的数据来训练模型),而扩散模型是使用源城市提供的丰富数据进行训练的。

双 buff 加持:预训练 + 提示微调

如下图所示,GPD 作为一种条件生成框架,共分为 3 个关键阶段:

图片

模型概览

(a) 神经网络准备阶段

研究人员针对每个源城市区域训练了单独的时空预测模型,并保存其优化后的网络参数。每个区域的模型参数都经过独立优化,转换为基于向量的格式,没有参数共享,以确保模型能够最大程度地适应各自区域的特征。

(b) 扩散模型预训练

该框架使用收集到的预训练模型参数作为训练数据,训练扩散模型来学习生成模型参数的过程。扩散模型通过逐步去噪来生成参数,可以在给定提示的情况下从噪声中生成神经网络参数。这个过程类似于从随机初始化开始的参数优化过程,因此能够更好地适应目标城市的数据分布。

© 神经网络参数生成

在预训练后,可以通过使用目标城市的区域提示来生成参数。这种方法利用提示促进了知识转移和精确参数匹配,充分利用了城市间区域之间的相似性。

其中,去噪网络的网络结构如下图所示:

图片

去噪网络的网络结构

如上图 (a) 所示该研究的去噪网络架构采用了基于 prompt 的 Transformer 扩散模型,在层分割 (layer segmentation) 之后,参数被重组为标记序列。

在去噪过程中,除了噪声序列外,Transformer 扩散模型还考虑了时间步长 k 和区域提示 p。研究人员探索了多种调节方法,例如后适应调节、自适应规范调节,对 Transformer 层设计进行了微小但重要的修改,调整策略如上图 (b) 和 © 所示。

值得一提的是,在预训练-提示微调的框架中,提示的选择具有很高的灵活性,只要能够捕捉特定区域的特征即可。 例如,可以利用各种静态特征,如人口、区域面积、功能和兴趣点 (POI) 的分布等。

这项工作从空间和时间两个方面利用区域提示:

  • 空间提示来自于城市知识图谱中节点表征,仅利用区域邻接性和功能相似性等关系,这些关系在所有城市中都很容易获取;

  • 时间提示来自于自监督学习模型的编码器。

GPD 在数据稀缺的场景中表现出色,性能提高 7.87%

为了评估所提框架的有效性,该研究在两类经典的时空预测任务上进行了实验:人群流动预测和交通速度预测,该研究表明,GPD 在数据稀缺的场景中表现出色,在四个数据集上比最佳基线平均提高了 7.87%。

图片

GPD在4个数据集上相对于最先进基线方法的比较结果

在华盛顿特区、巴尔的摩、洛杉矶和成都数据集中,与上表中划线标记的最佳基线方法相比,GPD 的平均误绝对差 (MAE) 分别降低了 4.31%、17.1%、2.1% 和 8.17%。这表明,GPD 在不同数据场景下一致表现优越,实现了有效的神经网络参数层面的知识迁移。

图片

不同时空预测模型的性能对比

此外,该研究还验证了 GPD 框架对于不同时空预测模型适配的灵活性。除了经典的时空图方法 STGCN 外,该研究还引入了 GWN 和 STID 作为时空预测模型,并使用扩散模型生成其网络参数。实验结果表明,框架的优越性不会受到模型选择的影响,因此可以适配各种先进的模型。

加速打造「实景三维中国」

近年来,随着新兴基础设施建设提速,时空数据的采集难题已经得到了很大程度上的缓解,加之如上述这一类少样本学习方法的成功应用,因地制宜的城市时空大数据平台已经在越来越多的城市落地。

人民日报在 2023 年 5 月的报道显示,国产卫星遥感影像自主保障率达 90% 以上;1∶50000 基础地理信息数据库保持按年度动态更新,1∶10000 基础地理信息数据陆地国土覆盖率达到 65%。

据介绍,实景三维中国纳入数字中国建设整体布局规划并全面启动,国家和省、市、县协同推进地形级、城市级、部件级实景三维建设,产品覆盖从陆地表面向海洋、水下、地下等方面延伸。目前实景三维中国建设成果已实时接入国土空间基础信息平台,应用于第三次全国国土调查申报数据核查、国土变更调查变化图斑提取、国土空间规划编制论证与方案推演等工作中。

截至 2023 年 5 月,40 个智慧城市时空大数据平台建设完成, 开展了面向自然资源监测管理、城市精细化管理、交通和市场监管等 400 余项行业应用系统,为城市精细化管理、经济发展和公众生活提供了实时、丰富、全面、权威的时空基础支撑。

可以肯定的是,在「数字中国」的大背景之下,以宜居、可持续发展为目标的智慧城市建设将持续深化,而时空数据、时空模型作为城市大脑的底座,重要程度不言而喻,相信在数据采集能力提升,以及少样本学习方法的迭代之下,时空预测也将更加准确。

参考资料 :
https://www.gov.cn/lianbo/bumen/202305/content_6874554.htm

基于LSTM的城市轨道交通客流量预测(demo) 本数据集记录了2023年4~5月xiamenBRT45个站点的客流量(按小时划分,61d=61*24=1464h)。hours。基于过去7天的客流量数据预测未来1天的客流量数据。 阅读详情

相关推荐

清华大学开源软件镜像站网址

清华大学 TUNA 协会原名清华大学学生网管会,注册名清华大学学生网络与开源软件协会,是由清华大学网络技术和开源软件爱好者、技术宅组成的团体。现阶段向校内外提供开源软件镜像等服务。清华大学 TUNA 协会清华大学 TUNA 协会原名清华大学学生网管会,注册名清华大学学生网络与开源软件协会,是由清华大学网络技术和开源软件爱好者、技术宅组成的团体。现阶段向校内外提供开源软件镜像等服务。https://tuna.moe/ 开源镜像站网址如下:ubuntu | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsi

Yifancoder的博客 4355

使用清华大学开源软件镜像站加速pip、conda、ubuntu、ros下载

清华大学开源软件镜像站,简称清华大学镜像站或清华镜像站或清华源,是一个位于中国清华大学的服务器,提供了大量开源软件的下载服务。这个镜像站的主要目的是为了提高国内用户访问和下载开源软件的速度和稳定性。由于国际网络连接可能受限或较慢,国内用户直接从国外服务器下载软件可能会遇到困难。清华大学镜像站通过在国内==复制(即“镜像”)==这些软件,使得国内用户可以更快速、更可靠地下载它们。

果壳里的幻想的博客 7984

Python+Spark地铁客流数据分析与预测系统 地铁大数据 地铁流量预测

本系统基于大数据设计并实现成都地铁客流量分析系统,使用网络爬虫爬取并收集成都地铁客流量数据,运用机器学习和时间序列分析等方法,对客流量数据进行预处理和特征选择,构建客流量预测模型,利用历史数据对模型进行训练和优化,实现客流量预测模型的部署和应用,通过系统界面展示预测结果。地铁数据:可视化地铁客流数据,管理员可以查看出行高峰期的10个时间段,以及地铁客流量最多的前10个站点。地铁数据:可视化客流预测图,普通用户可以查看出行高峰期的10个时间段,以及地铁客流量最多的前10个站点。

qq_79856539的博客 737

笔迹/签名数据集汇总

手写签名验证的竞赛 - 在 SVC2004: First international signature verification competition 中,作者描述了自动手写签名验证领域的挑战,并提出了一个签名数据库,涉及在签名收集前的充分练习、更大的样本收集等问题。笔迹和签名识别技术主要依赖于数据驱动的方法,其中,高质量的数据集可以显著提高识别算法的性能。在构建数据集时,研究者面临众多挑战,包括但不限于数据采集的法律和伦理问题、数据预处理和清洗的复杂性,以及更新维护数据集以适应不断变化的技术要求。

是我的博客 4660

ST-Resnet 论文笔记

ST-ResNET 详细论文笔记

若素不若素的博客 3252

机器学习之案例:客流预测

机器学习之案例:客流预测

学习中 3625

毕业设计-基于深度学习的地铁客流量实时检测算法系统 YOLO python 卷积神经网络 人工智能

毕业设计-基于深度学习的地铁客流量实时检测算法系统的毕业设计。随着城市人口的增长和公共交通需求的增加,准确监测和预测地铁客流量变得尤为重要。本系统利用深度学习技术,结合地铁站点的监控摄像头图像数据,实现了实时客流量检测功能。通过对摄像头图像进行处理和分析,系统能够快速准确地识别和计算地铁站点的客流量,并实时反馈给相关部门和乘客。介绍了系统的设计思路、数据集采集与预处理、深度学习模型的构建与训练等关键步骤。系统在地铁客流量检测方面取得了令人满意的准确度和实时性。这项毕业设计展示了深度学习技术在交通领域的潜力

2301_79555157的博客 1784

国内出租车计程车交通流量数据集用于机器学习约200万记录

18年出租车计程车交通流量数据集用于机器学习约200万记录,包括时间序列、经纬度、车头朝向等详细信息

阿里云天池赛地铁人流量可视化数据集

数据分析与挖掘加油 数据集下载地址

wangjunlei666的博客 2220

8000张人流量数据集,可以训练出测试人流量的数据模型

8000张人流量数据集,可以训练出测试人流量的.h5模型和.pth模型,识别度高达百分之99.5

城市交通流量数据集(5列,5w+记录)CSV

包含字段:时间戳、道路编号、车辆数量、平均速度、道路状况。

数据集笔记:杭州 & 上海 地铁客流数据

从5:15到23:30的地铁乘客流量预测使用前四个时间间隔(15分钟 x 4 = 60分钟)的地铁乘客流量(进/出流量)来预测未来四个时间间隔(15分钟 x 4 = 60分钟)的地铁乘客流量(进/出流量)5:15-6:15 -- 预测 -> 6:15-7:155:30-6:30 -- 预测 -> 6:30-7:30...21:15-22:15 -- 预测 -> 22:15-23:1521:30-22:30 -- 预测 -> 22:30-23:30每天可以分为66个时间片段。

qq_40206371的博客 4559

Sharding Sphere JDBC使用Mybatis的saveBatch无法返回主键的问题

Sharding Sphere JDBC使用Mybatis的saveBatch无法返回主键的问题

HHCS231的博客 1840

SeqST-GAN: Seq2Seq生成对抗网络的多步城市人群流动预测

1文章信息《SeqST-GAN: Seq2Seq Generative Adversarial Nets for Multi-step Urban Crowd Flow Predictio...

zuiyishihefang的博客 1806

腾讯云TDSQL MySQL版 - 开发指南兼容性

语言结构 分布式实例支持所有 MySQL 使用的文字格式,包括: String Literals Numeric Literals Date and Time Literals Hexadecimal Literals Bit-Value Literals Boolean Literals NULL Values String Literals String Literals 是一个 bytes 或者 characters 的序列,两端被单引号'或者双引号"包围,TDSQL MySQL版

weixin_43872058的博客 911

反激开关电源变压器设计实战:从理论到绕制的完整流程解析

本文详细解析了反激开关电源变压器的完整设计流程,从核心理论到实战绕制。文章以24W电源为例,手把手讲解如何根据输入输出电压、功率和频率等关键参数,计算匝比、峰值电流、电感量,并完成磁芯选择、匝数确定、气隙计算及线径选取。重点阐述了CCM模式下的设计要点与绕制工艺,旨在帮助工程师设计出稳定高效的反激变压器,避免常见陷阱。

weixin_29305313的博客 685

python数据分析-杭州市地铁站人流量【数据源---阿里云天池新人赛】

python数据分析-杭州市地铁站人流量【数据源—阿里云天池新人赛】 前言 天池新人实战赛是针对数据新人开设的实战练习专场,以经典赛题作为学习场景,提供详尽入门教程,手把手教你学习数据挖掘。天池希望新人赛能成为高校备受热捧的数据实战课程,帮助更多学生掌握数据技能。城市计算AI挑战赛以“地铁乘客流量预测”为课题,参赛者将根据主办方提供的地铁人流相关数据,挖掘隐藏在背后的出行规律,准确预测各个地铁站点...

weixin_43306493的博客 2万+

【ES】--Elasticsearch的分词器深度研究

分词器是ik_max_word,会将“龙马家书”拆分为“龙马”、“马家”、“家书”。然后filter配置的是edge_ngram_filter,在上面拆分的token词组基础上,按照edge_ngram_filter规则进一步拆分。从结果看:分词器是keyword,filter支持edge_ngram_filter,字符过滤器支持tsconvert【简繁体】。分词器是keyword,表明是不进行分词,但filtet中edge_ngram_filter是按照布长方式拆分token,所以得到如此结果。

寻梦友的博客 2485

人流量统计、特定目标搜索+跟踪!

yolov5 deepsort fastreid 前言 基于YOLOv5和DeepSort的目标跟踪 介绍过针对行人的检测与跟踪。本文介绍另一个项目,结合 FastReid 来实现行人的检测、跟踪和重识别。项目地址: https://github.com/zengwb-lx/Yolov5-Deepsort-Fastreid,作者给出的2个主要实例,也是非常的实用,包括行人流量的统计、人群中特定目标的查找与跟踪。 项目复现 首先,创建个全新的虚拟环境 condacrea...

爱CV 3089

LSTM cell结构的理解和计算

LSTM是传统RNN网络的扩展,其核心结构是其cell单元,网上LSTM的相关资料繁多,质量参差不齐,下面主要结合LSTM神经网络的详细推导和 Christopher Olah的blog两篇文章中的内容进行说明。主要介绍网络如何计算,为何这么算先不展开:)。前者一副图加上29个公式,简洁明了;后者娓娓道来,适合初学者。首先是LSTM cell最常见的结构图: 这是变形的版本(找不到更清晰的版本了),

songhk0209的博客 2万+

Android-音频配置文件详解

前言:   Android P 引入了一种新的音频政策配置文件格式 (XML),用于描述音频拓扑。新的 XML 文件支持定义输出输入流配置文件、可用于播放和捕获的设备以及音频属性的数量和类型。但是每个项目的代码里面都有很多音频配置文件,具体使用的是哪个文件呢?本文将详细讲述。 1. 查看运行时具体使用的xml adb shell dumpsys media.audio_policy | grep -iE "Config source:" 结果如下: Config source: /vendor

cheriyou_的博客 3947

清华大学开源镜像网站

清华大学开源软件镜像站 | Tsinghua Open Source Mirror

fast_gowin的博客 2435

非球面检测

摘要:非球面镜检测主要采用干涉法,包括零位补偿和非零位补偿两种方式。零位补偿通过透镜组完全校正像差,精度达1%波长,但设计复杂成本高;非零位补偿利用部分像差补偿降低波前斜率,适用于规则非球面。折射-衍射混合补偿镜能同时校正多种像差。实际检测中可采用物理补偿镜或动态CGH加载方案,光路设计需运用坐标断点和多重结构技术实现复杂光路建模。不同方法各具优势,需根据检测需求选择合适方案。

Zhaxibamao的博客 2116

实战项目一:地铁人流量预测

项目简介地铁人流量预测项目背景项目宗旨项目简介01数据清洗;02特征提取;03数据初步分析;04数据深度分析05数据模型的创建;06数据模型的评估07模型的优化改进08引入复杂模型——XGBoost 地铁人流量预测 项目背景 为了帮助纽约市的地铁运输管理局(MTA)省钱并使地铁更安全; 为了更准确地预测每日将有多少人访问某些地铁站点,从而让MTA更好地分配员工并预测否则会出乎意料的高峰期。 项...

Yale-曼陀罗 2万+

MediaPipe 从入门到精通:安装、配置与多场景应用实战手册

人体姿态检测是 MediaPipe 的核心功能之一,它能够从图像或视频中识别人体姿态,并输出关键点的坐标。这些关键点覆盖了身体的主要部位,例如肩膀、肘部、髋部、膝盖等,总计 33 个点。每个关键点包含 x、y、z 坐标(归一化到 0-1 范围)以及可见性评分,可用于分析动作、姿势或开发健身、游戏等应用。手部关键点检测是 MediaPipe 的另一大亮点,它可以识别图像或视频中的手部,并输出 21 个关键点的坐标。这些关键点覆盖手掌和手指的各个部位,适用于手势识别、虚拟现实或交互式应用。

m0_71589036的博客 389

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

上一篇: 每周编辑精选|免费使用 Sora 平替、在线运行 Python 基础教程、MCFEND 中国假新闻检测数据集上线
下一篇: 合成生物新突破!中科院罗小舟团队开发 ProEnsemble 机器学习框架:优化进化通路启动子组合
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值