交通大数据干货总结(1)

论文笔记--GMAN: A Graph Multi-Attention Network for Traffic Prediction Chuanpan Zheng, Xiaoliang Fan, Cheng Wang, Jianzhong Qi Summary 在交通预测问题上,作者针对时空因素提出了一种图多注意网络(GMAN)来预测道路网络图上不同位置的时间步长提前的交通状况。GMAN主要采用了编码解码的架构。编码器和解码器之间包含一个注意力转换模块,模拟历史时间步与未来时间步之间的关系,有助于缓解预测时间步之间的误差传播问题。在实验中对与长时间间隔的预测有非常好的效果。 Problem Definition 长时间段的交通 阅读详情
AI摘要

本文汇总了交通领域的知名学者、重要会议论文、典型数据集以及相关资源,涵盖了交通大数据在智能交通中的应用。学者如万怀宇、杨海和罗洪港在数据挖掘、交通网络建模等领域有深入研究。数据集包括TaxiBJ、METR-LA、NYC-Taxi等,常用于交通流量预测。论文涉及ST-ResNet、DCRNN、ASTGCN等多个模型,展示了深度学习在交通预测中的作用。此外,还提供了交通规划相关书籍和优质博主资源,为该领域的研究提供了丰富的参考资料。

交通大数据干货总结(1)

本文列举了交通领域的相关学者、会议、论文、数据集、书籍以及代码
以上资料均提供了超链接和简要说明

前言

当前,城市交通正面临着安全、堵塞、环境污染三大难题。随着云计算、物联网、移动互联网、大数据等新兴技术的发展,城市交通进入智能化阶段。而智能化实现需要利用各种技术获取有价值的数据资源,提供决策依据。交通大数据为交通决策与服务带来了新的解决思路和方法【1】。

相关学者(待完善)

(注:排名不分先后…)

一、北京交通大学的万怀宇教授

主页:http://faculty.bjtu.edu.cn/8793/

学者简介:北京交通大学,计算机与信息技术学院,副教授、博士生导师,现任计算机科学系副主任。主要研究方向为数据挖掘与信息抽取,具体研究兴趣包括时空数据挖掘、社交网络挖掘、文本信息抽取、知识图谱应用等。已在AAAI、ICDE、ECML PKDD、DASFAA等学术会议和TKDE、TITS、KBS、JCST等学术期刊上发表学术论文40余篇。

代表文献:

【1】Shengnan Guo, Youfang Lin, Ning Feng, Chao Song, Huaiyu Wan*. Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting. The 33rd AAAI Conference on Artificial Intelligence (AAAI), 2019.

【2】Chao Song, Youfang Lin, Shengnan Guo, Huaiyu Wan*. Spatial-Temporal Synchronous Graph Convolutional Networks: A New Framework for Spatial-Temporal Network Data Forecasting. The 34th AAAI Conference on Artificial Intelligence (AAAI), 2020. 

二、香港科技大学的Hai Yang教授

主页:http://ihome.ust.hk/~cehyang/

学者简介:杨海教授本科毕业于武汉大学,日本京都大学的博士。主要研究领域为交通网络建模、交通系统分析和交通经济学等。

代表文献:

【1】Ke, J., Qin, X., Yang, H., Zheng, Z., Zhu, Z., Ye, J., 2020. Predicting origin-destination ride-sourcing demand with a spatio-temporal encoder-decoder residual multi-graph convolutional network. Transportation Research Part C: Emerging Technologies (under review).

三 、 香港科技大学的Dr. Hong K. LO教授

主页:http://ihome.ust.hk/~cehklo/

学者简介:罗教授的主要研究领域为交通系统管理、ITS、DTA和动态交通控制等,为Journal of ITS的管理编辑、Transportmetrica的副主编。

代表文献:

【1】Li, L., Lo, H.K., Huang, W., Xiao, F. 2021. Mixed bus fleet location-routing-scheduling under range uncertainty. Transportation Research Part B, accepted.

【2】Zhang, SY, Lo, H.K. 2020. Metro Disruption Management: Contracting Substitute Bus Service under Uncertain System Recovery Time. Transportation Research Part C, 110, 98-122

原始数据总结

一、TaxiBJ,北京出租车数据集,郑宇,"BJ15_M32x32_T30_InOut.h5",原始数据shape=(5596,2,32,32),"2"代表出In/Out两种流量。

备注:数据应用在ST-ResNet(AAAI17,郑宇的经典,该领域的里程碑)中。(数据地址:链接:https://pan.baidu.com/s/1uLLiSRjWAKoOgBqeSR5CUg  提取码:g1n2 )

二、METR-LA,洛杉矶高速路数据集,"metr-la.h5",原始数据shape=(12,6850,207)——间隔5分钟,预测未来1小时(12,207,2)->(12,207,1)

备注:数据应用在DCRNN文章中。(数据地址:链接:https://pan.baidu.com/s/1RIukWVbXS-C6OgN4cajuNQ  提取码:43sd )

三、NYC-Taxi,纽约出租车数据集,"volume.train.npz",原始数据shape=(1920,10,20,2),"10,20"代表网格化地图形状,同郑宇的"32,32"

备注:数据应用在STDN文章中。(数据地址:链接:https://pan.baidu.com/s/1T5TQeVQFnKi5KAeCT9NuKQ  提取码:u2yc )

四、PeMS系列数据集:PeMS03/04/07/08/PeMS-bay/PeMS-M,加利福尼亚高速数据,"data.npz",原始数据shape=(10195,307,3)——间隔5分钟预测1小时(307,3,36)->(307,3,12)

备注:数据分别应用在ASTGCN/Graph wavenet/ST-GCN/SLCNN等文章中,"3"代表交通流量3种特征(flow,speed,occupancy)。(数据地址:链接:https://pan.baidu.com/s/1dwdYbtEXJ68k3zAf_Kw38g 

提取码:2fih )

五、北京地铁数据集:2016年北京地铁进进出站客流量数据集,共276个站点,25天工作日,三种时间粒度划分 (10min、15min和30min。附北京同时间天气条件与空气质量数据集,

天气条件数据每半小时记录一次,空气 质量数据每一小时记录一次。(数据地址:链接:https://pan.baidu.com/s/1eVBUs0zxs5xYvFpnR13yUA 提取码:d399 )

备注:数据分别应用在ResLSTM/Conv-GCN等论文中。

六、MetroHZ,杭州地铁数据集,"raw_data.npy",原始数据shape=(2448,81,2)——间隔10分钟预测下一个时间片

备注:数据应用在ADST文章(T-ITS)中

七、BusJN,济南公交数据集,原始数据shape=(26496,11,81)

备注:数据应用在文章XXX(Ubicomp->T-ITS)中

八、其他数据集

1)2009.5月——北京出租车数据集(一个月);

2)2014.8月——成都出租车数据集(一个月);

备注:数据应用在牛老师的L-CNN文章(TVT 2018)中。

3)kaggle比赛纽约数据集(预测行程时间);

学术论文梳理

NIPS会议

    2017,PredRNN 清华,利用自定义的 “时空LSTM” 单元,基于历史数据帧预测未来图片,数据集采用Moving Mnist(Mnist视频流也是高端...),也找到了作者Yunbo Wang的git分享。

CVPR会议

    2017,Structural-RNN,Jain,将时空图转换成RNN混合体的一种通用的可扩展的方法。作者是用来做行为识别的。感觉是非常视觉的paper,膜拜一下就好...

AAAI会议

    2017,ST-Net 郑宇;目前已经基本复现了微软亚研院郑宇在人群流量预测工作中使用的ST-ResNet残差网络。

    2018,DMVST 宾夕法尼亚(姚骅修,滴滴实习生等);综合考虑时间、空间、语义三方面信息,预测出租车需求(笔记),其中数据来自2017年滴滴出行在广州的近两个月数据。作者提供了开源代码,这个团队后续在AAAI2019又发表了一篇"Revisting Spatial-Temporal similar",提出STDN网络(姚骅修,数据来自NYC纽约),工作也是相当多的。

    2019,ASTGCN 北交(郭晟楠,林友芳,宋超等):学习PPT(已经联系作者找到原文),采用加利福尼亚的两段高速数据,目前为预测1小时后的交通流量,使用mxnet搭建神经网络(添加了注意力机制的STGCN,源码)。使用三个组件对时间序列上三个不同长短的周期模式进行建模。2019.2.15在北交网站发表了动态。

    2019,STMGCN(李亚光,滴滴):空间上引入Multi-Graph多图,针对地图区域间非欧关系,本文提出更加详细的三种关系图(距离临近、功能相似、道路相通),对多图进行图卷积并聚合。时间上Contextual Gated RNN,实际为SENet思想。针对训练样本序列,利用SENet的Squeeze和Excitation操作,对每个时刻图进行全局池化,和图自身卷积池化的结果相加,再利用Excitation达到不同通道权重化的效果。

ICLR会议

    2018,DCRNN 南加大(李亚光,虞琦等人):作者提供了github链接,本文借鉴ICLR2017的一篇reject文章(RNN对图结构数据的推广)的思想,将该模型用于交通预测。本文在会议官网上收到了很好的Review评价。首先构建图,这个图可以加权也可以不加权,可以有向也可以无向,本文使用的是加权双向有向图。交通预测挑战在于:空间路网复杂,时间依赖非线性。本文干的事概括来讲是:给定历史车速与路网数据,预测未来的车速。使用基于图bidirectional random walks捕获空间依赖,使用基于序列的带预定采样的编解码机制捕获时间依赖。上来创新点扣了个大帽子:“交通空间结构非欧,有向”。本文在洛杉矶构建了带权有向图,图的顶点是sensors(207个),边是权重,通过路网上 sensor 之间的距离得到。时间间隔5分钟,预测未来1小时的速度,所以输入数据中一个样本是(12,207,2),输出为(12,207,1)。

    2018,GAT 剑桥大学(还有Bengio大神),图注意力,徐博在计算所提到过。

IJCAI会议

    2018 STGCN,提出了时空图卷积的网络架构,有一个中文博客辅助说明,作者通过构建时空卷积块预测交通图中不同路网节点的速度v,且利用的是加州和北京两个数据集进行验证。使用局部图卷积(基于拉普拉斯图的一阶近似),无向图。

    2018 GeoMan,还是郑宇,张均波那些人的,预测传感器值的回归问题,同样有中文博客的说明。使用水质数据和空气质量两个数据集进行验证。

Sensors

    2017 Deep CNN 北航+北交,用CNN模拟空间相关性,但空间结构在欧式空间 (例如:2D图像),理解为普通网格地图策略。

IJCNN会议

    2018 Deep Transport 百度,通过明确收集各道路上下游的邻域道路, 并分别对这些邻域进行传统卷积, 对空间依赖关系进行建模。

交通领域期刊

相关公众号及优质博主

【1】中科院计算所徐冰冰  https://github.com/Eilene/spatio-temporal-paper-list

【2】交通大学博士研究生张金雷  https://blog.youkuaiyun.com/zuiyishihefang  公众号:当交通遇上机器学习

相关资料下载

交通规划类书籍:

【1】城市规划原理(第四版) 吴志强 李德华   链接:https://pan.baidu.com/s/1KyBOIXrXrNUewcDbpMMi5Q  提取码:uz2a 

【2】现代交通规划学 刘灿齐 人民交通出版社 链接:https://pan.baidu.com/s/1uUVhblqR6OuooIxlkef_fQ  提取码:n2li 

【3】图卷积在交通预测中的应用-20190911(预测文章总结) 链接:https://pan.baidu.com/s/1Nzd-oP8x5c0lSlz9c9Ek-Q  提取码:fcbf 

【4】深度学习与交通大数据实战V2.0版 链接:https://pan.baidu.com/s/14ZKGazCWKIYzb5-wYLx5HQ  提取码:spqz 

注:3、4资料均来自于公众号《当交通遇上机器学习》

参考:

【1】张昕, 曾鹏, 张瑞, & 张帆. (2016). 交通大数据的特征及价值. 软件导刊, 015(003), 130-132.

【2】本文参考了qwezhaohaihong的文章,文章链接https://www.jianshu.com/p/fc407f437219

【3】参考了天道教育  责任编辑为zhangzx的文章  文章链接http://graduate.tiandaoedu.com/magnetic/24350.html

数据挖掘实战经验——交通大数据预测 关于我对最近参加大数据比赛的一些经历和经验。 阅读详情

相关推荐

PEMS-开源

PEMS 是一个系统,它允许使用超过 RAM 大小的超大数据集执行类似 BSP 的算法(实现为 MPI 程序)。

【交通数据(1)——加州高速路网PeMS交通数据】

交通数据(1)——加州高速路网PeMS交通数据一、PeMS数据介绍1. 数据简介二、相关数据下载1.引入库2.读入数据 一、PeMS数据介绍 1. 数据简介   使用PeMS,用户可以对高速公路性能进行统一、全面的评估,基于对高速公路网络当前状态的了解做出运营决策,分析拥堵瓶颈以确定潜在的补救措施,并做出更好的整体决策。 是 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、相关数据下载 1.引入库 PeMS数据官网下载链接 代码如下(示例): impor

stt666的博客 4万+

PEMS使用说明

交通领域PEMS数据的使用说明,方便下载PEMS数据,完成交通领域的算法效果验证

A3T-GCN架构预测交通流量

本博文主要讨论使用T-GNN的交通流量预测任务。首先,我们研究了PeMS-M数据集,并将其从表格数据转换为具有时间信号的静态图形数据集。在实践中,我们基于输入距离矩阵创建了一个加权邻接矩阵,并将交通速度转换为时间序列。最后,我们实现了一个A3T-GCN模型,这是一个为交通预测而设计的T-GNN模型。我们将结果与两条基线进行了比较,并验证了我们的模型所做的预测。

weixin_65191557的博客 3053

车流量数据集+PeMs-SF+预测

这个数据集描述了旧金山湾区高速公路不同车道的占用率,在0到1之间。这些测量的时间跨度为1/1/2008至3/30/2009,数据每10分钟采样一次。

加州高速路网PeMS交通流量数据集PEMS03

加州高速路网PeMS交通流量数据集PEMS03。

交通时空大数据如何分析,我写了本书!

Datawhale干货余庆:同济大学博士,Datawhale读者大数据时代到来,随着智能设备与物联网技术的普及,人在社会生产活动中会产生大量的数据。在我们的日常活动中,手机会记录下我们到访过的地点;在使用城市公交IC卡、共享单车等服务时,服务供应商会知道这些出行需求产生的时间与地点;公交车与出租车的定位信息,也可以告诉我们城市交通状态的具体情况。这些具备时间、空间与个体属性的数据能够为城市交通...

Datawhale 2438

加州高速路网PeMS交通流量数据集(PEMS03、PEMS04、PEMS07和PEMS08)

加州高速路网PeMS交通流量数据集,包含PEMS03、PEMS04、PEMS07和PEMS08的邻接权重和车流量数据。

基于大数据的城市轨道交通客流分析及调控策略【附PPT】

来源:2020世界交通运输大会(WTC) 北京交通大学 交通运输学院 姚恩建教授的分享,支持原创,版权归作者所有,如有侵权,联系立删。 禁止二次转载。 欢迎转发支持。 公众号内回复【轨道交通】,获取PPT下载链接。 基于大数据的城市轨道交通客流分析及调控策略【附PPT】 新发展理念指引下的江苏交控 ”六朵云 ”【附PPT】 交通强国,标准先行【附PPT】 智慧高速建设的探

zhuangdianliu4818的博客 4436

加州高速路网PeMS交通流量数据集

加州高速路网PeMS交通流量数据集

加州高速路网PeMS交通流量数据集PEMS07

加州高速路网PeMS交通流量数据集PEMS07。

交通大数据、数据要素主题汇总(2024-12-24更新)

大数据指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的特点是数据量大、数据类型多样、数据处理速度快、数据价值密度低。常用的交通数据要素包括交通流量数据、交通速度数据、交通密度数据等,这些数据可以帮助人们更好地了解交通状况,优化交通路线,提高交通效率。此外,通过对这些数据的分析和挖掘,还可以发现交通数据的潜在价...

weixin_55366265的博客 595

版图学习汇总十一(DRC、LVS注意事项)

esd。

weixin_56071389的博客 2262

数据让生活更幸福!三分钟带你了解智慧城市,交通大数据应用!

随着城市交通人脑的出现,大数据在交通管理和交通运输领域得到了广泛的应用。大数据已逐渐成为城市交通管理的基础资源,在交通管理中日益显示出其关键作...

csdnsc123456的博客 320

rsyslog交叉编译(armv7、armv8、aarch64、arm32平台通用)

该文档描述了如何交叉编译rsyslog到arm64嵌入式平台。

sinat_33909696的博客 1560

手把手教你用WF100DPZ数字压力传感器搞定I2C/SPI通信(附完整寄存器解析)

本文详细解析了WF100DPZ数字压力传感器的I2C与SPI通信驱动方法,涵盖硬件连接、寄存器配置、数据读取流程及常见问题排查。该传感器内置24位ADC和出厂校准,通过实战代码演示了如何稳定获取高精度压力与温度数据,帮助开发者快速集成到嵌入式项目中。

weixin_28285943的博客 377

大数据超全面入门干货知识,看这一篇就够了!

它是一个开源的分布式计算框架,让数据分散储存在多台计算机上,然后使用 MapReduce 的方法,将数据分成小块一块一块地处理,最后把结果汇总起来。有了 Hive,我们不需要学习新的编程语言,只需使用熟悉的 SQL,就能轻松地查询和分析海量的数据。大数据是当今社会的瑰宝,它让我们能够洞悉未知世界,做出更明智的决策。就像一个默契的团队一样,大数据组件们一起工作,使得数据处理变得更加高效、可靠,帮助我们揭开数据的神秘面纱。在大数据的世界里,有许多神奇的组,它们像齐心协力的小伙伴,一起为我们揭开数据的奥秘。

xiaobaiyanghaowa的博客 8521

【AI 智能体】Windows 环境 Hermes Agent(爱马仕)安装详细过程

Windows 环境 Hermes Agent(爱马仕)安装详细过程

congge_study的博客 1829

99成纯干货:2024年十套电商交通气象可视化大屏模板html+js+css原生js源代码

【复制就能用1】2分钟玩转轮播图,unslider的详细用法 【复制就能用2】css实现转动的大风车,效果很不错。 【复制就能用3】2分钟自己写小游戏:剪刀石头布小游戏、扫雷游戏、五子棋小游戏 【复制就能用4】2024最新智慧医疗智慧医院大数据展示,医院数据采集概况等,源代码免费下载 【复制就能用5】99成纯干货:2024年十套电商交通气象可视化大屏模板,免积分下载打开即可运行随着大家对程序员职业的深入,可能大多都越来越喜欢复制就能用的代码,能让我们完成工作任务,早点下班。同时也能更快的学习。所以本着不浪费

m0_68335484的博客 1731

基于Playwright和反爬虫规避技术的雪球股票讨论数据采集方案

随着量化投资和社交投资的兴起,雪球作为中国领先的投资社交平台,其用户讨论数据成为研究市场情绪的重要来源。本文将详细介绍如何使用最新的Playwright技术和反爬虫规避策略,构建一个高效、稳定的雪球股票讨论爬虫系统。本文详细介绍了基于Playwright的雪球股票讨论爬虫实现方案,涵盖了从基础配置到高级反爬虫策略的各个方面。AI驱动的反爬虫对抗更智能的请求调度算法区块链技术在数据溯源中的应用联邦学习在数据采集中的运用。

2201_76125261的博客 1009

Centos7 yum 报错「Errno 256」No more mirrors to try 解决方法

首先该问题的出现是由于网络的震荡导致,这是重点。(1)将源更换成阿里云的官方源,步骤参考如上(2)同时将zabbix的官方源更换成阿里云里面的zabbix镜像源,因为zabbix官方源根本网络不通,因为国家防火墙的拦截,导致网络不通。这是阿里源的zabbix镜像地址: https://mirrors.aliyun.com/zabbix/zabbix/4.4/rhel/7/修改系统中早期生成的zabbix.repo文件,如下:主要是把baseurl替换成阿里云的zabbix镜像地址即可。

专注基础架构领域 3875

基于Hadoop与Spark的大数据交通分析系统实战指南

大数据技术已成为海量数据分析与处理的核心支撑。在交通领域,每天产生的车辆轨迹、卡口记录等数据量巨大,需要分布式存储与高效计算引擎协同完成。Hadoop分布式文件系统负责海量数据的可靠存储与资源调度,Spark基于内存计算大幅提升清洗和统计分析效率,二者结合可构建可扩展的数据处理底座。通过Django搭建业务接口与后台,并利用可视化大屏呈现交通拥堵、车流量等指标,能够辅助管理者快速洞察城市交通态势。本文围绕这一技术组合,梳理从集群环境搭建、数据模拟存储、Spark分析到Django与ECharts展示的完整链

weixin_29065791的博客 333

深入理解鸿蒙输入子系统驱动:HDI接口、HAL层与内核驱动的协同机制

/ 扫描输入设备// 打开指定输入设备// 关闭指定输入设备// 获取指定设备信息// 获取所有设备列表鸿蒙输入子系统驱动采用分层架构设计,通过HDI接口层实现硬件抽象,HAL层提供统一的事件处理机制,用户空间驱动层负责设备管理和事件分发。整个系统支持多种输入设备类型,包括触摸屏、按键、鼠标、键盘等,并提供了完整的HID设备支持。分层架构:清晰的层次划分,便于维护和扩展事件驱动:基于epoll的高效事件处理机制设备管理:完善的设备生命周期管理HID支持。

m0_67505153的博客 212
上一篇: 从RNN到LSTM
下一篇: 【迁移学习】自动选择源域的迁移学习方法
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值