小蚂蚁与大象

在本文中，我们提出了一种新的、高效的内存区间索引HINT，重点关注区间重叠查询，这是许多搜索和分析任务的基本组成部分。HINT应用分层分区方法，它将每个间隔最多分配给每个级别的两个分区，并控制空间需求。我们将存储在每个分区中的信息减少到绝对必要的程度，方法是根据间隔是开始于分区边界内部还是开始于分区边界之前来划分间隔。在不同特征的真实区间集和合成区间集上的实验结果表明，HINT方法通常比现有区间索引方法快一个数量级。索引间隔是一个基本的问题，它的应用范围很广，

在大型空间数据库中，数据摘要被广泛应用于提高查询处理速度。受新兴的学习索引技术的启发，本文提出了一种学习数据摘要技术——学习多维直方图(learned多维直方图)，该技术广泛使用的索引结构如b树，可以通过集成简单的机器学习模型来进一步改进。与传统的数据概要技术相比，LHist是完全数据驱动的，易于实现，并有可能实现更好的存储精度权衡。以范围COUNT查询估计为典型任务，在大型真实数据集和综合基准上的大量实验研究表明，LHist在存储成本、查询处理效率和估计精度方面优于现有的概要结构。

最近学习的索引利用了数据分布，并在某些工作负载中显示出了巨大的潜力。但是，它们都不支持持久性或即时恢复，而且现有的基于pm的索引在进化B+树时通常不考虑已学习的索引。本文提出了一种新的pm优化的学习索引APEX，它提供了高性能、持久性、并发性和即时恢复。APEX基于ALEX，一个最先进的可更新的学习索引，结合和适应过去PM优化和学习索引的最佳，允许它减少PM访问，同时仍然利用机器学习。我们对Intel DCPMM的评估表明，APEX的性能比现有的PM指数高出15个百分点，并且可以在42ms内从故障中恢复。

许多基于机器学习的方法已被提出用于从GPS轨迹、行车记录仪视频或卫星图像中检测道路属性。然而，现有的解决方案大多专注于单一模态，没有考虑多个数据源之间的相关性。为了与卫星图像在空间上进行匹配，将GPS轨迹绘制成一组多通道图像序列，同时捕捉每个像素处GPS点的全局分布、车辆行驶方向和速度的局部分布及其随时间的变化。本文提出了一种多模态道路属性检测方法，通过对众包GPS轨迹信息与卫星图像进行像素级融合，提高了算法的鲁棒性。与已有工作相比，该方法能够大幅度提高道路属性的检测精度。

当今的信息物理融合系统(cps)是大型且复杂的数据密集型系统。为了准确、及时地检测可能发生的入侵或故障，需要对大量相互连接的传感器和执行器产生的数据进行持续监测和分析。近年来，基于深度学习的多变量时间序列无监督异常检测技术被提出，用于检测CPSs攻击。然而，目前的方法要么受限于其表示学习方法，无法同时有效地编码时间和空间信息，要么无法在没有明确了解不同变量或传感器之间的内部关系的情况下容易扩展到其他任务，而这些变量或传感器对表征CPSs数据至关重要。在4个CPS数据集上的实验验证了所提方法的优越性。

这些激励我们设计了一个新的基于学习的模型，名为TMN，基于注意力网络，旨在显著提高准确性，以便在相似度计算时间和准确性之间实现更好的权衡。提出的匹配机制通过计算点对的注意力权重来关联轨迹上的点，从而使TMN学会模拟轨迹对之间的相似度计算。除了考虑轨迹间的相互作用外，还考虑了每条轨迹的时序信息，从而充分利用了一对轨迹的空间特征。此外，这些基于学习的模型只是在训练中使用特定相似性度量的轨迹对的相似性分数，而忽略了一个重要的信息:当计算相似性分数时，两个轨迹之间的点的映射很容易获得。

值得注意的是，所提出的框架对广泛的DNN分类器是不可知的。在6个具有代表性的DNN分类器和6个真实数据集上的实验结果验证了所提攻击框架的有效性。在大多数情况下，TimeTrojan以100%的攻击成功率成功注入后门，而不影响模型对干净样本的准确率，这意味着敌手完全控制了DNN分类器的行为。然而，dnn过度的学习能力可能使其容易受到后门攻击的威胁，攻击者在dnn中嵌入隐藏的功能(即后门)，并通过特殊设计的输入(即触发器)激活后门。尽管针对图像和文本领域的后门攻击进行了广泛的研究，

本文提出了一种基于图的轨迹相似性度量方法(Graph-based approach for measurement Trajectory Similarity, GTS)，一种新的用于空间网络相似性计算的轨迹表示学习框架。从轨迹之间的相似性度量开始，这是学习轨迹嵌入的鲁棒框架的第一步。从兴趣点距离、兴趣点轨迹距离和轨迹相似度3个方面定义轨迹相似度，既能反映路网上轨迹之间的关系，又能反映单个轨迹的继承属性。不同于以往在欧氏空间中学习轨迹表示的研究，它不仅需要捕获轨迹的序列信息，还需要捕获空间网络的结构信息。

在推理过程中，由于长期的数据丢失，变量是缺失的。传感器故障)或高→低资源域在训练/测试之间切换。据我们所知，在存在此类故障时，MTSF模型的鲁棒性还没有在文献中研究过。通过广泛的评估，本文首先表明，最先进方法的性能在VSF设置中显著下降。本文提出一种非参数的包装技术，可应用于任何现有的预测模型。通过对4个数据集和5个预测模型的系统实验，表明所提出技术能够恢复模型近95%的性能，即使只有15%的原始变量存在。

如交通监控和公共交通规划。操作员是时间敏感的，因为它必须能够适应交通条件变化的结果。首先证明了该问题的np -困难性，然后提出了一系列响应时间短的有效近似解。最后，在两个真实数据集上进行了全面的实验，验证了所提算法的有效性和效率，并证明了所提算法在交通监控任务中的有用性和快速响应时间。

Temp-GFSM中的每个组件都回答了以下问题:在时序图中有哪些模式在演变?如何在只有几个标签的指导下学习指标?最后，在多个领域的真实时序图分类任务上的实验结果表明了Temp-GFSM的有效性。然而，在实践中，图通常具有异质动力学(例如，微观和宏观的演化模式)。因此，标记时序图通常是昂贵的，还需要背景知识。图度量学习方法旨在学习图上的距离度量，使相似(如同类)的图更接近，不相似(如不同类)的图距离更远。这在许多图分类应用中至关重要，如药物发现和流行病分类。大多数图度量学习技术认为输入图是静态的，

在多源连接阶段，提出了两种方法Sum和Concat来连接不同轨迹数据源的特征。在两个真实数据集上的实验表明，与经典的时间序列方法、机器学习方法和最新的基于神经网络的方法相比，MDTP i)具有更高的效率;交通预测因其在交通管理、城市计算、公共安全等领域的广泛应用而受到越来越多的关注。近年来，海量轨迹数据的可用性和深度学习的成功激发了大量深度交通预测研究。然而，现有的基于神经网络的方法往往忽略了位于同一时空交通区域的多种移动对象之间的相关性，这不利于交通预测分析。

作为一种基于结构和模型的学习方法的补充，GSP为图的谱分析提供了一个新的视角。图学习方法为新的表示空间中的图分析铺平了道路，许多图分析任务，如链接预测、推荐和分类，都可以被有效解决。粗略地说，GSP处理的是图的采样和恢复，以及从数据中学习拓扑结构。基于随机游走的方法包括基于结构的随机游走、基于结构和节点信息的随机游走、异构网络中的随机游走以及 time-varying网络中的随机游走。第二节概述了图学习方法，包括基于图信号处理的方法、基于矩阵分解的方法、基于随机游走的方法和基于深度学习的方法。

通过研究和整合多元时间序列中潜在的不同通道相关模式，探索了时频块中核操作的不同核学习策略。长期时间序列预测是一项重要的任务，具有广泛的实际应用。最近的方法侧重于从一个单一的域(如时域或频域)捕获潜在的模式，而没有采取整体的观点来处理从时频域的长期时间序列。在TFDNet中，我们设计了一个多尺度时频增强编码器骨干，并开发了两个独立的趋势和季节时频块，以捕获多分辨率下分解趋势和季节分量中的不同模式。在第二阶段，我们设计了多尺度时频编码器，分别捕获季节和趋势分量中的潜在时间和频率模式。

当前最先进的基于图神经网络(GNN)的预测方法通常需要图网络(如GCN)和时间网络(如LSTM)来分别捕获序列间(空间)动态和序列内(时间)依赖关系。此外，我们的理论分析揭示了FGO在时域上与图卷积的等价性，进一步验证了FourierGNN的有效性。在七个数据集上进行的大量实验表明，与最先进的方法相比，我们的性能更优，效率更高，参数更少。我们假设超变量图Gt中的所有节点都是全连接的。超变量图Gt包含NT个节点，表示Xt中每个时间戳处的每个变量的值，它可以学习跨时间戳和变量的高分辨率表示。

多图卷积 Multi-Graph Convolution在城市系统中，在空间尺度上存在着多种关系。例如，在交通系统中，相似的交通模式可能存在于相邻区域和具有相似POI的区域中。因此，同时考虑多个空间关系对于STGNN中的时空依赖性学习是不可忽视的。该模型首先基于邻域、功能相似性和连通性构造多图，以表征多种空间相关性。对于每个图，分别采用上下文门控RNN和ChebNet来捕获时间和空间相关性。最后，通过融合并行化的多图时空隐藏信息，得到最终的预测结果。

为了公平地比较预测性能，我们遵循相同的评估协议，其中ILI的历史视界长度设置为36，其他为96。ILI的预测长度为{24,36,48,60}，其他的预测长度为{96,192,336,720}。为了公平比较，我们遵循相同的标准协议，将所有预测数据集按ETT数据集6:2:2和其他数据集7:1:2的比例分成训练集、验证集和测试集。记录了2002-2021年美国疾病控制与预防中心每周流感样疾病(ILI)患者数据，描述了观察到的ILI患者比例和患者总数。为了公平的比较，所有的基线都遵循相同的评估协议。

最近有很多基于Attention的用Transformer来做时间序列预测的文章，无论是从时域（比如Informer等）还是频域（FEDformer等），花样百出。如下图所示，分别是时域Attention、傅里叶变换频域Attention、小波变换频域Attention。本文就从理论层面和实验层面，来给出一些准则，说明究竟在哪些实际情况用时域的Attention好，哪些情况用频域的Attention好。基于上述这些结论，本文还设计了一些基于Transformer和MLP的预测模型，TDformer。

为了解决这个问题，我们提出了一种新的OOD检测方法，称为GOOD-D，它通过精心设计的分层图对比学习框架从训练分布(ID)中学习属性和结构模式。在GOOD-D中，通过最大化特征图视图和结构图视图之间的相互一致性，共同进行节点、图和组层次的对比，并设计了一种自适应机制来平衡学习目标和学习到的OOD分数在三个层次上的权衡。通过对我们的无扰动图数据增强方法生成的增强图进行分层对比学习，GOOD-D能够捕获潜在的ID模式，并基于不同粒度(即节点级，图级和组级)的语义不一致性准确检测OOD图。

我们首先根据未知节点与已知节点每一时间步的差异性来确定输入到GRU网络中的未知节点表示的重要性，其次根据差异性表示对历史时间步的重要性进行调整，最后将两部分重要性表示结合到GRU神经网络的输入门及遗忘门中来进行关系感知GRU网络的计算，使其能够在多重异质关系中根据邻居节点在时间维度上的信息流动模式指导未知节点时间相关性的建模。，提出了空间聚合模块和时序建模模块，能够在空间维度上聚合多重异质关系的邻居节点信息得到未知节点的特征表示，并在时间维度上根据邻居节点的信息流动模式指导未知节点时间相关性的建模。

具体来说，我们将学习特定的蒸馏温度，而不是像大多数以前的工作那样引入统一的温度超参数，以提高蒸馏模型的性能。在5个基准数据集上的实验结果表明，我们提出的框架可以应用于5种常用的GNN模型，并持续提高其预测精度，平均相对提高3.12%。然而，据我们所知，用于gnn的现有知识蒸馏方法都采用预定义的蒸馏过程，该过程由几个超参数控制，而不受蒸馏模型性能的监督。蒸馏和评价之间的这种隔离将导致次优结果。在这项工作中，我们的目标是提出一个通用的知识蒸馏框架，可以应用于任何预训练的GNN模型，以进一步提高它们的性能。

Practical Adversarial Attacks on Spatiotemporal Traffic Forecasting Models基于机器学习的交通预测模型利用复杂的时空自相关性来提供城市范围的交通状态的准确预测。然而，现有方法假设一个可靠和无偏的预测环境，这在实际环境中并不总是可用。本文研究了时空流量预测模型的脆弱性，提出了一种实用的对抗时空攻击框架。具体而言，不是同时攻击所有地理分布的数据源，而是提出一种迭代梯度引导的节点显著性方法来识别时间依赖的受害节点集合。此外，设计了一种基于时空

Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment 序列事件预测的目标是根据历史事件序列估计下一个事件，在序列推荐、用户行为分析和临床治疗等方面都有应用。在实践中，练下一个事件预测模型用一次收集的序列数据进行训，需要在遥远的未来泛化到新到达的序列，这就要求模型处理从训练到测试的时间分布转移。本文首先从数据生成的角度揭示了一个消极的结果，即由于潜在的上下文混淆因素，即历史事件和下一个事件的共同原因，现有的

本文旨在回答以下问题:从一个潜在的非常大的训练模型池中选择和重用给定目标任务的源模型的高效和有效的方法是什么?更具体地说，给定一组同质任务的预训练模型集合，如图像分类，建议选择这些模型的一个子集，并重用它们来为相同类型的目标任务构建一个集成。给定源模型的集合，我们的目标是选择源模型的子集，并开发一个集成模型，为目标任务实现最佳性能。在MAB中，每个模型都可以看作是一个土匪的手臂，观察到的模型评估结果表明扮演一个想得到的土匪的奖励，目标是快速识别具有最高奖励的武器。

SMT研究判断一个给定的一阶公式是否可满足的问题，即是否给未解释的函数和常数符号赋了适当的值以使公式为真。底层的Ingress是一个自动增量框架，配备了四种不同的记忆策略，以支持各种以顶点为中心的计算，并优化内存利用率。对于无记忆(MF)策略，推导出的增量算法应该直接从批运行的收敛状态启动两组消息，即取消消息和补偿消息，这两组消息分别用于处理无效消息和丢失消息。不断增长的动态图数据需要高效的增量图处理技术。此外，给定很小的输入变化∆G，通常会发现对G的计算与用∆G更新的新图的重新计算之间有相当大的重叠。

否则，如果嵌入变得太过时，结果将被广播并在gpu之间的缓存中更新，以保持系统在一定范围内的过时性。从根本上说，Sancus简单而有效，它基于一种避免矩阵阻塞的通用通信算法，用于并行计算，在分散GNN训练期间缓存和重用陈旧的历史嵌入，并相应地跳过广播。本文提出Sancus，一种过时性感知的避免通信的去中心化GNN训练系统，通过自适应跳过广播和缓存过时性有限的历史嵌入。为避免worker之间昂贵的数据移动所导致的通信，本文提出Sancus，一种过时性感知的通信，避免分散的GNN系统。

G3允许用户通过以下两种方式利用gpu的大规模并行和其他架构特性:通过编写一组灵活的api(应用程序编程接口)顺序的C/ c++代码构建GNN层;一种用于图神经网络(GNN)训练的框架，由图形处理单元(gpu)上的图处理系统定制。G3旨在通过使用并行图处理系统支持图结构操作来提高GNN的训练效率。展示了用G3开发一些流行GNN模型的步骤，以及G3相对于现有GNN训练系统(即PyTorch和TensorFlow)的优越性能。G3的运行时系统在GPU上自动执行用户定义的gnn，并启用一系列以图为中心的优化。

在16节点的阿里云集群上的实验结果表明，与现有的GNN系统DistDGL和ROC相比，NeutronStar取得了1.81 x -14.25倍的加速比。该系统的有效性在于，在给定的图和硬件环境下，估计每个依赖邻居的DepCache开销和DepComm开销，并针对不同的依赖选择性价比最高的处理策略。本文采用顶点切割的主镜像框架将跨worker的图操作与worker内的NN操作解耦，而不是手动实现跨worker的前向/后向计算操作，从而可以将现有DNN系统的硬件优化的操作实现用于局部NN操作。

本文提出Grain，一种有效的框架，通过将gnn中的数据选择与社会影响最大化联系起来，开辟了一个新的视角。通过挖掘gnn的共同模式，Grain将新的特征传播概念、具有新颖影响力和多样性函数的多样化影响力最大化目标以及具有近似保证的贪婪算法引入到统一框架中。在公开数据集上的实证研究表明，Grain显著提高了gnn数据选择(包括主动学习和核心集选择)的性能和效率。据我们所知，这是在图神经网络(gnn)的背景下，首次尝试连接两个基本上并行的研究线索、数据选择和社会影响最大化，为提高数据效率铺平了新道路。

在4个使用单GPU的小规模数据集和2个使用多GPU的大型数据集上评估了tgl的性能，用于链接预测和节点分类任务。将TGL与5种方法的开源代码进行比较，TGL取得了类似或更好的精度，平均加速比为13倍。在一个4-GPU的机器上，TGL可以在1-10小时内训练一个超过10亿个时间边的epoch。据我们所知，这是第一项提出在多gpu上训练大规模时序图神经网络的通用框架的工作。一种用于大规模离线时序图神经网络训练的统一框架，用户可以用简单的配置文件组成各种时序图神经网络。许多现实世界的图包含时域信息。

通过在具有4.929亿个顶点、68.2亿个边和丰富属性的真实数据集上进行广泛的实验，AliGraph在图构建方面的速度快了一个数量级(根据最先进的PowerGraph平台的报告，这一数字是5分钟vs小时)。在训练中，使用新的缓存策略后，AliGraph的运行速度提高了40%-50%，并在改进后的运行时间下提高了约12倍。文中提出了一个全面的图神经网络系统AliGraph，该系统由分布式图存储、优化的采样算子和运行时间组成，有效地支持现有的流行图神经网络和一系列自主开发的适用于不同场景的图神经网络。

其次，利用GCNs接收域的特性，ALG提出了一种最大化有效接收域(ERF)的节点选择准则，综合考虑了节点的重要性和相关性。本文证明了这个ERF最大化问题是np -难的，并给出了一个有效的算法和一个可证明的近似保证。在每次迭代中，ALG以图G = (V, E)、特征矩阵X和更新的标签集作为输入，计算提出的代表性和信息量度量，并将它们组合成一个唯一的有效性感知的表示节点重要性的度量。出ALG，一种新的GCNs主动学习框架，利用特定领域的智能，与通用的AL框架相比，实现了更高的性能和效率。

由于行程可能不会覆盖每个区间的所有OD对，因此得到的OD矩阵很可能是稀疏的。解决了从稀疏的历史OD矩阵预测完整的、近未来的OD矩阵的问题。本文将出行成本建模为分布，因为当在一对OD区域之间旅行时，即使在相同的间隔内，不同的车辆也可能以不同的速度行驶，例如，由于不同的驾驶风格或在十字路口的不同等待时间。为解决这个问题，本文提出了一个通用的学习框架，(i)利用矩阵分解和图卷积神经网络来解决数据稀疏问题，同时捕获空间相关性;本文研究了随机起讫点矩阵的预测问题——基于历史随机od矩阵预测未来的od矩阵。

在多个真实的电子商务数据集上的实验结果表明，HiGNN比其他几种流行的方法取得了显著的性能提升。据报道，分层表示有利于在同一个社区中行为相似的用户和主题驱动的分类法的背景下进行更个性化的项目推荐。通过对从上一个GNN层获得的嵌入执行通用聚类算法，构建一个粗化的图作为下一个GNN层的输入。一些最先进的协同过滤方法利用用户-项目二部图上的非线性交互，能够用图神经网络(gnn)学习更好的用户和项目表示。更重要的是，它很容易扩展到一个非常大的实际应用程序，而不涉及昂贵的矩阵运算。

预测区域救护车需求是实现车辆动态调配的基础。虽然探索了EMS历史记录中的空间和时间相关性，但现有的方法主要考虑了前者的时不变，而在现实中不一定如此。此外，这一假设忽略了一个事实，即幕后的动态是人，其人口结构和活动模式可能是区域EMS需求的决定因素。正如时间序列图(见图4a)和部分自相关函数(见图4b)所示，区域救护车需求(1小时时间切片)在短期和周期性(如每日、每周)观察中显示出很强的(统计显著性)自相关.显式地利用历史记录中的最新、每日和每周观察作为输入，来表示这种多层次的时间依赖关系。

该模型包含三个基本组件:特征融合层(FFL)、时间嵌入层(TEL)和经典图卷积网络的时间和时内偏移感知注意力机制(ITAGCN)。FFL负责组合基本特征和商店的GMV系列，TEL旨在提取时间模式，而ITA-GCN设计良好，不仅可以从单个商店的时间序列中捕获时间偏移模式，还可以从相邻商店的时间序列中捕获时间偏移模式。然而，在数字化数据不足的情况下，要做出准确的预测并不容易。借助图神经网络(GNN)强大的关联不同实体的能力来丰富信息，提出了一种具有时间偏移感知注意力的图神经网络(GNN)模型Gaia。

具体而言，这些优点可以归结为:1)动态超图构建(dynamic hypergraph construction, DHC)捕捉了历史上下文内容的特征，为动态超图的构建提供了指导;2)时空超图卷积模块(spatiotemporal hypergraph convolution module, STHC)负责提取节点和超边之间的时空关系，3)协同预测模块(collaborative prediction module, CP)负责整体的时变超图嵌入聚合。同样，在时间步T，新的超边em和en出现，其余的消失。

本文提出一种新的NAS框架，试图搜索聚合邻域(SANE)以实现GNN中的自动架构搜索。通过重新审视广泛的GNN模型，定义了一个新的和富有表现力的搜索空间，可以模拟比现有NAS方法更多的人类设计的GNN架构，即GraphNAS和Auto-GNN。通过设计一个新颖的、富有表现力的搜索空间，提出了一种可微的搜索算法，比以往的基于强化学习的方法更高效。本文提出一种框架，试图搜索到聚集邻域(SANE)，以自动设计数据特定的GNN架构，以获得数据特定的GNN架构，并解决NAS方法面临的计算挑战。为解决架构和计算挑战，

主要困难在于:1)用户对物品价格的偏好和敏感度是未知的，仅隐含地反映在用户购买过的物品上;2)物品价格如何影响用户的购买意愿在很大程度上取决于产品的类别，即用户对物品价格的感知和承受能力可能在不同类别之间存在显著差异。针对第一个难点，本文建议对用户到物品和物品到价格之间的传递关系进行建模，灵感来自最近发展的图卷积网络(GCN)。在两个真实的数据集上进行了广泛的实验，证明了基于gcn的方法在学习用户价格感知偏好方面的有效性。进一步的分析表明，对价格意识进行建模对于预测用户对未探索类别的物品的偏好特别有用。