【阅读笔记】Instruction-based Hypergraph Pretraining

Abstract中可以提炼的信息：
背景：预训练的作用是为了增强图学习模型将知识从大数据集转移到下游任务的适应性。
想解决的问题：训练目标的不同与数据分布的不同会阻碍预训练知识的迁移。
文章受到基于指令的提示词在语言模型训练广泛应用的启发，想迁移这个方法到超图预训练。

背景

目前预训练面临的问题：

1. 在标签数据不足的情况下，pretext的设计与目标下游任务之间存在差距，阻碍预训练知识的迁移。[Pretext可以理解为是一种为达到特定训练任务而设计的间接任务]
2. 在标签数据足够的情况下，预训练与目标任务的数据分布的不同也会损害学习性能
3. 下游任务的数据集如果比较小，预训练可能会遭受严重的遗忘问题

将提示词运用到图预训练上存在的挑战：

1. 作为纯文本的指令格式无法与图结构数据对齐。
2. 从静态的角度来看，图提示词应该应用于图的特定部分，以根据特定的图查询来指导模型。
3. 图提示词需要参与上下文感知的信息传播过程以捕获这些关系。
   常用的方法是让prompt信息参与到图上信息传递的过程中实现，而普通图仅在成对关系中传递信息，既不灵活也不高效，因此使用超图

设计超图预训练的提示词存在的挑战：

1. 现有的基于提示的图预训练方法大多使用可学习的提示向量，这些向量随机初始化或基于预训练节点表示。但它们与特定任务的语义指令无关，其有效性依赖于下游任务微调数据的质量和多样性。在数据质量不高或多样性不足时，可学习提示向量可能无法提供有效的引导，导致模型性能不稳定或泛化能力差。
2. 当在下游任务中出现大量未见节点时，传统的预训练范式（如冻结除可学习提示外的所有参数）效果不佳。因为预训练阶段的节点表示无法直接用于表示新的未见节点，可学习提示的不确定性在处理这些未见数据时会加剧，影响模型对新节点的处理能力。