6、使用图神经网络重建古代文献

使用图神经网络重建古代文献

1. 数据与模型基础

在处理图像重建问题时，我们将图像分割成多个小块，每个小块对应一个节点。设 (s) 为源节点，(t) 为目标节点。每个节点有一个标识符和对应小块图像的像素数组作为属性。每条边有一个对应空间关系的标识符，分别为上、下、左、右和无，这些边的属性对应着我们任务中的五个类别，可编码为独热向量。

由于完全图的性质，随着每张图像中小块数量的增加，属于“无”类别的边的类别不平衡问题会更加严重。以下是每类样本的数量统计：
| 类别 | U | D | L | R | 无 |
| — | — | — | — | — | — |
| 每张图像样本数 | 12 | 12 | 10 | 10 | 166 |
| 总样本数 | 49128 | 49128 | 40940 | 40940 | 679604 |

2. 模型架构

我们的模型名为 AssemblyGraphNet，是一个卷积图神经网络，它利用节点属性信息来预测边的标签。该模型由两部分组成：全局模型和成对比较模型。

2.1 成对比较模型

成对比较模型是一个卷积神经网络，它以两个相连的节点（源节点和目标节点）作为输入，输出连接源节点和目标节点的边的标签。这里定义了五个类别，分别对应目标小块相对于源小块的对齐方向：上、下、左、右和无。

具体操作流程如下：
1. 网络的第一步是为两个小块在每个方向上裁剪出一个 40 像素宽的条带。
2. 这些条带根据可能的匹配位置进行拼接（例如，目标小块的上条带与源小块的下条带拼接）。
3. 四个“组装位置”拼接在一起