22、动态图神经网络与神经关系推理在姿态估计中的应用

动态图神经网络与神经关系推理在姿态估计中的应用

1. 引言

在姿态估计任务中，为了准确预测未来的姿态，我们尝试了多种模型。最初使用GRU模型，在验证数据上能达到75%的准确率，但在测试数据上性能下降到65%。这表明该模型虽然简单，但由于输入信息有限，其性能存在一定局限。为了获得更高的准确率，我们需要利用姿态数据中的关系归纳偏置。接下来，我们将介绍动态图神经网络（Dynamic Graph Neural Networks）和神经关系推理（Neural Relational Inference）这两种方法，并详细阐述它们在姿态估计中的应用。

2. 动态图神经网络

2.1 数据处理

为了预测图的未来演化，我们需要对数据进行重构以考虑时间信息。具体步骤如下：
1. 数据加载 ：将数据加载为PyTorch Geometric（PyG）数据对象。使用与训练RNN相同的位置和速度数据，但构建一个包含所有数据的单图。以下是初始化数据集的代码：

import numpy as np
import torch
from torch_geometric.data import Data, Dataset

class PoseDataset(Dataset):
    def __init__(self, loc_path, 
                      vel_path, 
                      edge_path, 
                      mask_path,