2025_NIPS_WalkLM: A Uniform Language Model Fine-tuning Framework for Attributed Graph Embedding

WalkLM 论文总结与核心部分翻译

一、主要内容总结

该论文提出了一种名为 WalkLM 的统一语言模型微调框架，用于属性图嵌入任务，旨在解决真实世界属性图中复杂属性与灵活结构的联合建模问题，同时获取不受特定下游任务限制的无监督通用图表示。

核心框架

1. 属性随机游走（Attributed RW）文本化：首先在图上执行属性随机游走，捕捉节点/边的属性信息与图的拓扑结构；随后通过自动化文本化程序，将随机游走序列转换为语义连贯的文本序列——节点文本化通过拼接属性名、属性值与实体ID实现，边文本化直接采用关系名称（可扩展至复杂属性边），最终形成图感知语料库。
2. 图感知语言模型微调：以 DistilRoBERTa 为基础模型（兼顾效率与性能），采用掩码语言建模（MLM）任务对上述文本序列进行微调，通过知识蒸馏优化训练过程，从微调后的模型中提取包含属性语义与图结构信息的通用嵌入向量。
3. 下游任务适配：提取的节点嵌入（可扩展至边嵌入、子图/图嵌入）可直接用于节点分类、链路预测等下游任务，或作为复杂模型的初始化特征。

实验验证

• 数据集：在 PubMed（基因、疾病等实体）、MIMIC-III（临床数据，含患者、就诊、疾病节点）及 Freebase、FB15K-237 等知识图谱数据集上进行验证。