21、动态图与时空图神经网络：人体姿态估计的探索

动态图与时空图神经网络：人体姿态估计的探索

1. 动态问题与时空模型

在数据处理领域，几乎每个数据问题在某种程度上都是动态问题。不过，在很多情况下，我们可以忽略时间变化，构建适用于数据快照的模型，例如图像分割方法在训练模型时很少考虑视频片段。

但在实际应用中，我们常常需要处理不断更新的数据，并做出考虑到客户和文化习惯变化的最新预测。例如，在推荐系统中，我们曾使用图卷积网络（GCN）根据客户 - 购买者网络数据为客户推荐合适的产品，但使用的是多年收集的玩具数据集，未考虑实际中数据的动态变化。同样，在欺诈检测中应用图注意力网络（GAT）时，使用的是多年收集的金融记录的单一快照，未考虑金融行为随时间的变化。

图神经网络（GNN）的独特之处在于它能够对动态和关系变化进行建模。这一点非常重要，因为我们周围的许多网络也在随时间变化。例如社交网络，我们的友谊会随着时间的推移而改变、发展或减弱。我们可能会与同事或朋友的朋友关系更密切，而与家乡的朋友见面频率降低。因此，对社交网络进行预测时需要考虑这些因素。

再如，我们经常根据对道路、交通模式和出行紧急程度的了解，预测出行路线和到达时间。动态GNN可以将道路网络视为图，对其随时间的变化进行预测。此外，预测多个物体的共同运动轨迹，如分子、细胞、物体甚至恒星的轨迹，对于许多科学领域和机器人规划都至关重要，动态GNN也能帮助我们预测这些轨迹并推断解释它们的新方程或规则。

为了将关系学习与时间学习相结合，我们将介绍三种构建动态模型的方法，其中两种使用GNN：循环神经网络（RNN）模型、GAT模型和神经关系推理（NRI）模型。我们将构建机器学习模型，通过估计人体姿态随时间的变化来“学习行走”，这些模型常用于医疗咨询、远