【序列推荐、图网络、Transformer】STAM:A Spatiotemporal Aggregation Method for Graph Neural Network-based

原创 已于 2023-10-30 22:13:53 修改 · 2.5k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #聚类 #机器学习

于 2022-03-18 14:22:50 首次发布
这篇博客介绍了STAM方法，一种针对图神经网络推荐系统的改进，它考虑了时间和空间序列信息，增强了对用户行为时间序列的建模。通过结合自注意力机制和位置编码，STAM能更准确地为用户生成个性化推荐，尤其在处理用户商品预览时序关系上。论文展示了STAM如何替换现有GNN方法，并通过实验验证了其在推荐效果上的优势。

#论文题目：STAM: A Spatiotemporal Aggregation Method for Graph Neural Network-based Recommendation（STAM: 基于时空聚合方法的图神经网络）
#论文地址：https://keg.cs.tsinghua.edu.cn/jietang/publications/WWW22-Yang%20et%20al.-STAM-GNN.pdf
#论文源码开源地址：https://github.com/zyang-16/STAM
#论文所属会议：WWW 2022
#论文所属单位：Alibaba

一、引言

基于GNN的推荐系统通常基于空间结构信息对近邻embedding进行聚合，从而忽略了时间序列信息的聚合，本文提出STAM方法根据时间和空间信息对近邻的一阶邻居节点embedding进行聚合，并且此方法可以和其他GNN方法结合，即只修改GNN方法中的聚合函数为STAM即可。

本文的创新点：

  1. 强调了时间序列信息在基于GNN的邻居聚集推荐算法中的重要意义，说明聚类方法考虑结构和时间序列是有意义的。
  2. 提出的STAM聚合方法可以很自然的替代现有的基于GNN方法进行推荐的算法中。

二、GNN方法导读

详情请见博客：《基于推荐的GNN方法导读》

但是GNN有一个局限性：
他只考虑了网络中的连边的关系，而没有考虑过网络连边的时序关系（即user先预览了什么商品，后预览了什么商品）
在这里插入图片描述

最低0.47元/天 解锁文章
【读文献】A Spatiotemporal Graph Attention Network Based on Synchronization for Epileptic Seizure Predict
double_double_的博客
04-20 713
在本节中，我们提出了一个基于同步的癫痫发作预测模型，该模型由三个步骤组成。图1说明了我们方法的主要工作流程。首先对原始脑电信号进行处理，计算其PLV，得到不同通道的同步信息，完成图的构建。具体内容见第II-B节。然后，使用特征向量和电极相关矩阵作为STGAT层的输入，获取脑电的时空信息，这在第II-C节中介绍。最后，在全连通层上获取识别结果，并输入融合模型的输出结果。第II-D节是所提出的癫痫发作预测模型的算法描述。图2描述了基于脑电图的时空信息提取过程。
A Hierarchical Spatio-Temporal Graph Convolutional Neural Network for Anomaly Detection in Videos
BENULL的博客
12-27 1494
A Hierarchical Spatio-Temporal Graph Convolutional Neural Network for Anomaly Detection in Videos 单位：北京航空航天大学 会议：TCSVT 论文地址：arxiv 提出的Spatio-Temporal Graph Convolutional Neural Network (HSTGCNN) 由多个分支组成，这些分支对应于不同级别的图表示。高阶图表示编码人的轨迹和多个人之间的交互，而低阶图表示编码每个人的局部身
【论文导读】- STFL: A Spatial-Temporal Federated Learning Framework for Graph Neural Networks
1+1=王的博客
06-10 4595
我们提出了一个面向图神经网络的时空联邦学习框架STFL。该框架挖掘输入时空数据的底层相关性，并将其转化为节点特征和邻接矩阵。框架中的联邦学习设置在保证数据隐私的同时实现了良好的模型泛化性。在睡眠阶段数据集ISRUC S3上的实验结果说明了STFL在图预测任务上的有效性。
STAM-pytorch:STAM（时空注意模型）的实现，这是一种纯简单的注意模型，可以通过SOTA进行视频分类
04-01
STAM-火炬 ，这是又一个纯净且简单的SOTA注意模型，在视频分类中优于所有以前的模型。 这证实了的发现。 注意是我们所需要的。 安装 $ pip install stam-pytorch 用法 import torch from stam_pytorch import STAM model = STAM ( dim = 512 , image_size = 256 , # size of image patch_size = 32 , # patch size num_frames = 5 , # number of image frames, selected out of video space_depth = 12 , # depth of vision transformer space_he
【论文阅读】Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
Cheungleilei的博客
12-07 2758
摘要 动态人类骨架能够为人体行为识别传递大量的信息。传统的对人体骨架建模的方法是依赖于手工涉及或者遍历规则的，导致的结果就是表达力不强且泛化困难。在这里提出一种创新的动态骨架建模方法ST-GCN，能自动从数据中学习空间和时间特征。 引言 人体的行为可以由集中形式被识别：外观、光流和骨架。其中骨架蕴含大量信息，所以本文系统地研究了这种形式，将骨架运用到行为识别方向。 动态的骨架能够自然地由2D或者...
[论文精读]6_MTBullyGNN: A Graph Neural Network-Based Multitask Framework for Cyberbullying Detection
qq_51407242的博客
03-25 2043
网络欺凌是社交媒体的疾病，考虑到其毒性、传播速度以及可能造成的破坏规模，自动检测具有重要意义。然而，由于其伪装行为、内容中的噪声以及最近引入的语言混杂，在线欺凌检测（CD）的问题变得非常困难。在本文中，我们提出了一种新颖的。
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs, ICLR, 2020
Jing Sir的博客
04-07 2912
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs, ICLR, 2020 Zhang R, Zou Y, Ma J. Hyper-SAGNN: a self-attention based graph neural network for hypergraphs[J]. arXiv preprint arXiv:1911.02613, 2019. 此篇论文所提出的方法首次将超图结构从k均衡扩展到了非均衡，即每
论文笔记--Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
chenxino的博客
09-24 2705
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series Summary 给定多元时序数据（传感器数据），如何检测异常事件（系统错误或者被攻击）？怎样捕获传感器之间复杂关系，解释异常偏离了那些关系？现有的方法没有明确学习变量之间关系结构，用它们预测事件序列的预测行为。作者结合结构学习方法和图神经网络，用注意力权重为检测到的异常提供解释。 Problem Statement 挑战 将图神经网络用于时序数据的异常检测需要
【论文阅读】GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
cziun的博客
08-18 2107
目录摘要1 引言2 GCC2.1 GNN预训练问题2.2 GCC预训练2.2.1 设计子图实例2.2.2 定义类似/不类似的实例2.2.3 定义图编码器2.3 GCC微调3 实验 摘要 关于图表示学习的现有技术侧重于特定领域的问题，并为每个图数据集训练专用模型，该模型通常不可转移到域外数据。 受自然语言处理和计算机视觉中预训练最新进展的启发，我们设计了图对比编码（GCC）——一种自监督图神经网络预训练框架，用于捕获跨多个网络的通用网络拓扑特性。我们将GCC的预训练任务设计为网络内和网络间的子图实例鉴别，并
使用Transformer提取连续帧点云的时空特征：P4Transformer算法理解
qq_37497304的博客
09-11 2777
使用Transformer处理连续帧点云：P4Transformer算法理解
探索高效动作识别新境界：Grouped Spatial-Temporal Aggregation项目解析与推荐
gitblog_01055的博客
09-12 328
探索高效动作识别新境界：Grouped Spatial-Temporal Aggregation项目解析与推荐 在当今的AI领域，高效动作识别是计算机视觉研究中的一个热点。为了满足对视频理解速度和精度的双重需求，Grouped Spatial-Temporal Aggregation (GST) 应运而生，该方法通过创新性的空间-时间聚合策略，显著提升了动作识别的效率与性能。本文将从四个方面深入解...
WWW2022推荐系统/计算广告论文集锦
张小磊的博客
03-02 2213
嘿，记得给“机器学习与推荐算法”添加星标| 作者：朱勇椿| 单位：中国科学院大学| 研究方向：推荐系统、迁移学习、元学习WWW 2022组委会近日放出了正式接收论文清单。大会共收到了18...
论文笔记--ActionVLAD: Learning spatio-temporal aggregation for action classification
Never-guess的博客
05-17 3251
介绍 这是去年CVPR2017的一篇动作分类的文章，代码链接如下： http://rohitgirdhar.github.io/ActionVLAD 这篇文章在时空上分别独立提取特征，然后做pooling聚合，采用了一种VLAD的pooling方法，端到端的训练，主要解决两个疑惑：1.如何聚合视频帧之间的特征来表示整个视频。2.在多流网络中(例如two-stream)里面如何整合不同流(双流...
论文笔记：Multi-Label Image Recognition with Graph Convolutional Networks
看我，看我，还看我，再看我就把你吃掉！
06-05 2304
论文：Multi-Label Image Recognition with Graph Convolutional Networks 通过GCN学习到一个有向图，用于描述标签之间的相关性，有向图的节点是word embeding。将该有向图应用到另外一个特征提取子网络中以实现端到端的训练。
WWW 2022 推荐系统和广告相关论文整理分类
abcdefg90876的博客
03-01 2412
关注我们，一起学习~WWW 2022接收论文已经发布。这次共收到了1822篇论文，接收323篇，录用率为17.7%。完整清单见下面的链接https://www2022.thewebconf...
推荐系统的下一步？阿里时空聚合GNN，效果吊打LightGCN！
06-27 1163
大家好，我是对白。不得不说，GNN自问世后，在众多领域遭遇魔改，所幸效果是越来越好。想起前几天看到的一篇论文（STAM-GNN）将时序信息加进了GNN中，这在GNN-based推荐模型中并不多见。检索后发现，目前时空GNN多用于交通预测领域。纵然GNN-based模型效果已然不错，但与基于空间的聚合方法相比，STAM-GNN在推荐方面还是有了显著的改进，例如，针对MRR@20，STAM-GNN在MovieLens提升为24%，Amazon为8%，淘宝为13%。鉴于文章简洁有意思，并且与GNN-based模型
用SegNet进行室内布局语义分割
datayx的文章
02-28 2462
向AI转型的程序员都关注了这个号????????????人工智能大数据与深度学习 公众号：datayx用SegNet进行室内语义分割。依赖NumPyTensorflowKerasOpen...
第一阶段文献总结
ljtx200888的博客
11-03 895
(一）Robust Ego and Object 6-DoF Motion Estimation and Tracking 1、系统功能和亮点 功能：本文提出了一种鲁棒性解决方案，以实现动态多体视觉里程计（相机自运动和视野内物体运动同时tracking）的精确估计和一致跟踪能力。 This paper proposes a robust solution to achieve accurate estimation and consistent track-ability for dynamic mu
开源项目推荐：STAM视频理解框架
gitblog_01004的博客
12-29 680
开源项目推荐：STAM视频理解框架 1. 项目基础介绍 STAM（Spatiotemporal Attention Module）是一个由阿里巴巴集团DAMO学院提出的视频理解框架，旨在通过时空注意力机制提高视频帧处理效率，降低计算复杂度。该项目主要使用Python编程语言，基于PyTorch深度学习框架进行开发。 2. 项目核心功能 STAM的核心功能是通过其独特的时空注意力机制，实现对视频帧的...
TCLN: A Transformer-based Conv-LSTM network for multivariate time series forecasting 有没有类似的文章
最新发布
07-05
在时间序列预测领域，尤其是基于深度学习的方法中，Transformer、LSTM 和 CNN 的结合已经成为研究热点。TCLN 提出的融合架构通过引入多核卷积、自注意力机制和长短时记忆网络，显著提升了模型在多变量时间序列预测（MTSF）中的表现[^1]。以下是一些与 TCLN 类似的研究工作： ### 基于 Transformer 与 Conv-LSTM 的时间序列预测模型 #### 1. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting Informer 是一种专为长序列时间序列预测设计的 Transformer 变体，它通过概率稀疏注意力机制和自注意力蒸馏策略来减少计算复杂度，并有效捕捉长期依赖关系。虽然 Informer 主要基于 Transformer 架构，但其思想可以与 LSTM 或 CNN 结合以增强时空建模能力[^2]。 #### 2. Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting Autoformer 引入了序列分解模块和自相关机制，用于识别时间序列中的周期性模式。该模型利用 Transformer 架构进行长期趋势建模，并结合自相关机制提取更细粒度的时间依赖结构。这种分解方法也可与 Conv-LSTM 融合以提升空间特征提取能力[^3]。 #### 3. Temporal Fusion Transformer (TFT) Temporal Fusion Transformer 是一个专门用于多变量时间序列预测的混合模型，它结合了 LSTM 和 Transformer 的优势。TFT 使用 LSTM 编码历史时间步的信息，并通过可解释的多头注意力机制进行跨时间步的交互建模。此外，TFT 还支持静态协变量输入，适用于工业和金融等复杂场景[^2]。 #### 4. DeepGLO: A Deep Learning Approach to Multivariate Time Series Forecasting DeepGLO 是一个基于矩阵分解和深度神经网络的多变量时间序列预测框架。该模型使用全局潜在因子表示整个时间序列的共性，并通过局部 LSTM 或 CNN 模型建模每个时间序列的独特性。这种方法可以与 Transformer 结合以进一步增强模型的时空建模能力[^3]。 #### 5. LSTNet: Deep Learning for Multivariate Time Series Forecasting LSTNet 是早期将 CNN、RNN 和跳跃连接结合用于多变量时间序列预测的工作。它使用卷积层提取短期模式，并通过 LSTM 捕捉长期依赖。最后通过跳跃连接将不同层次的特征组合起来。LSTNet 的结构启发了后续许多融合 CNN 与 RNN 的工作，包括 TCLN 中的多核卷积与 LSTM 和 Transformer 的结合[^1]。 #### 6. MTGNN: Multivariate Time Series Forecasting via Graph Neural Networks MTGNN 将多元时间序列建模为图结构，利用图神经网络（GNN）建模变量之间的空间依赖关系，并结合门控循环单元（GRU）建模时间动态变化。虽然主要基于 GNN，但其时间建模部分可以替换为 Transformer 或 Conv-LSTM 以提升模型性能。 --- ### 示例代码：构建一个简单的 Transformer + LSTM 时间序列预测模型 ```python import torch import torch.nn as nn class TransformerLSTMModel(nn.Module): def __init__(self, input_dim, hidden_dim, num_layers, output_dim, nhead=4): super(TransformerLSTMModel, self).__init__() self.embedding = nn.Linear(input_dim, hidden_dim) self.transformer_layer = nn.TransformerEncoderLayer(d_model=hidden_dim, nhead=nhead) self.transformer = nn.TransformerEncoder(self.transformer_layer, num_layers=2) self.lstm = nn.LSTM(hidden_dim, hidden_dim, num_layers=num_layers, batch_first=True) self.fc = nn.Linear(hidden_dim, output_dim) def forward(self, x): # x shape: (batch_size, seq_len, input_dim) x = self.embedding(x) # (batch_size, seq_len, hidden_dim) x = x.permute(1, 0, 2) # (seq_len, batch_size, hidden_dim) x = self.transformer(x) # (seq_len, batch_size, hidden_dim) x = x.permute(1, 0, 2) # (batch_size, seq_len, hidden_dim) lstm_out, _ = self.lstm(x) # (batch_size, seq_len, hidden_dim) out = self.fc(lstm_out[:, -1, :]) # (batch_size, output_dim) return out ``` ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值