AI的“时间旅行”能力来了！ACL 2025重磅研究：让AI记住过去，推理未来，知识图谱进入新时代！

笔记整理：马阳阳，东南大学硕士，研究方向为主动学习、知识图谱

论文链接：https://arxiv.org/pdf/2506.04083

发表会议：ACL 2025

1. 动机

时序知识图谱（TKG）通过为三元组关联时间戳，拓展了传统知识图谱（KG）的动态表达能力，为大语言模型推理、事件预测、金融 forecasting 等下游任务提供结构化的时序知识支撑。但 TKG 常存在不完备性，时序知识图谱推理（TKGR）需基于历史知识推断缺失事实，而现实场景中 TKG 会持续新增实体、关系与事实，传统全量重训方式计算成本极高，持续学习（CL）微调虽高效却易引发灾难性遗忘。现有基于 CL 的 TKGR 方法仍存在两大核心局限：（1）仅片面重组单个历史事实，忽视理解事实历史语义所需的完整历史上下文，难以捕捉实体行为的整体趋势；（2）直接重放历史事实以保留知识，未考虑历史与新兴事实的分布冲突，削弱了灾难性遗忘的缓解效果。因此，本文提出深度生成式自适应重放（DGAR）方法，通过整合完整历史上下文、增强分布共性特征，在提升推理性能的同时高效缓解遗忘问题。

2. 贡献

本文的主要贡献如下：

（1）提出一种面向时序知识图谱推理（TKGR）的生成式自适应重放持续学习方法（DGAR） ，通过整合完整历史上下文与缓解分布冲突，有效解决知识遗忘问题，为动态场景下的 TKGR 提供新范式。

（2）设计历史上下文提示（HCP）机制，以包含实体关联关系与时序信息的提示作为重放数据采样单元，保障历史语义完整性，突破传统单事实采样的局限性。

（3**）提出扩散增强历史分布生成（Diff-HDG）策略与深度自适应重放（DAR）机制**：前者通过预训练扩散模型生成历史分布并强化跨分布共性特征，后者以分层自适应融合方式整合历史与当前分布，高效缓解分布冲突。

**（4）**在 ICE14、ICE18、ICE05-15 及 GDELT 四大基准数据集上开展大量实验，验证 DGAR 在 MRR、Hits@k 等指标上持续优于现有基线方法，且在不同 GNN 基模型（RE-GCN、TiRGN、LogCL）上具备良好扩展性。

3. 方法

3.1 模型结构

模型的总体架构如图1所示，DGAR 整体遵循持续学习范式，将时序知识图谱（TKG）的每个时间快照视为独立任务，架构围绕 “历史信息保留 - 分布冲突缓解 - 新旧知识融合” 核心目标，由三大模块 + 训练单元构成，端到端完成时序知识图谱推理。

图1 DGAR 的总体架构图

3.2 历史上下文提示构建（Historical Context Prompt, HCP）

**设计目标：**突破传统单事实采样的局限性，保留实体完整历史语义，为后续历史分布生成提供高质量输入。

*核心逻辑：以查询实体为中心，构建包含其历史关联关系与时序信息的提示单元。对于新查询(eq, rq, ?, t)，在历史快照*Gi(i<t)中提取与eq相关的三元组（含逆三元组），形成该实体在时刻的 HCP：

其中包含eq、历史邻居实体s及二者关系r，确保历史语义完整性

**采样策略：**为平衡计算成本与泛化能力，随机选取k个不同时刻的 HCP 组成重放数据集Promptreplay，涉及实体集合记为Vreplay（受新数据直接或间接影响的实体）。

3.3 扩散增强历史分布生成（Diffusion-Enhanced Historical Distribution Generation, Diff-HDG）

**设计目标：**生成与当前分布冲突最小的历史实体分布表示，强化跨分布共性特征。

核心组件与流程：

预训练扩散模型（DM）：采用 Transformer 编码器架构，通过前向扩散（向实体嵌入添加高斯噪声）与反向去噪（从噪声中重构实体分布）预训练，具备从提示中复现知识的能力。

条件生成机制：以 HCP 中的实体嵌入S0=Embedding(s)和关系嵌入R0=Embedding®为条件，结合高斯噪声Z ~N(0, I)，初始化待去噪对象：

确保生成的分布贴合实体历史语义。

共性特征增强（Guider）：利用当前 TKGR 模型参数引导去噪过程，通过梯度优化强化历史与当前分布的共性特征，弱化冲突特征：

其中σ为softmax 函数，γ为超参数（最优值设为 1）。

分布聚合：经n次迭代去噪后，得到单个 HCP 的实体表示，通过均值池化聚合k个时刻的结果，形成最终历史分布表示：

3.4深度自适应重放（Deep Adaptive Replay, DAR）

**设计目标：**高效融合历史与当前实体分布，平衡新旧知识权重，避免简单融合导致的性能损失。

**核心逻辑：**在KG 快照序列推理模型的每一层（最优层数L=3）进行分层自适应融合，而非末端一次性注入：

其中α∈[0,1]为自适应权重参数，动态平衡历史知识保留与当前知识吸收。

**优势：**通过分层融合保留实体时序演化特征，避免历史信息被当前分布覆盖，同时不引入额外复杂参数。

3.5损失函数设计

采用双损失组合，兼顾当前任务学习与历史知识保留：

当前任务损失Lt,c：基于当前任务训练集的三元组，以实体预测为多分类任务计算损失：

历史重放损失Lt,r：以Promptreplay中的历史三元组为正则项，结构与Lt,c一致，缓解当前优化导致的历史信息丢失；μ为超参数（默认设为 1）。

**3.**6 训练细节

优化器：采用 Adam 优化器，学习率设为 0.001，嵌入维度为 200。

扩散模型预训练：采用持续学习策略，t时刻基于前一时刻预训练模型ϕt-1初始化，更新后得到ϕt，避免数据泄露并适配动态数据。

新实体 / 关系处理：采用 Xavier 初始化，暂未设计专用建模策略。

**3.**7 方法核心优势

上下文完整性：HCP 以实体关联三元组为单位，保留历史语义上下文，突破单事实采样的碎片化局限。

分布冲突缓解：Diff-HDG 通过条件生成与共性特征增强，减少历史与当前分布的语义冲突。

自适应融合：DAR 分层注入历史分布，通过(\alpha)参数动态平衡新旧知识，兼顾保留与更新效率。

扩展性强：可适配 RE-GCN、TiRGN、LogCL 等多种 GNN-based TKGR 基模型，无需大幅修改架构。

4. 实验

4.1 实验核心目标

验证 DGAR 在时序知识图谱推理（TKGR）持续学习场景下，推理准确性与遗忘缓解能力的双重优势，同时验证核心组件有效性与模型扩展性。基线模型：

4.2 关键实验设置

**数据集：**选用 ICE14/ICE18/ICE05-15（地缘政治事件数据）、GDELT（高频全球事件数据）4 个主流基准，覆盖不同时间粒度与数据规模。

**基线模型：**对比 FT、ER、TIE、LKGE、IncDE 等 5 类经典持续学习 + TKGR 方法，默认以 RE-GCN 为基模型。

**评价指标：**核心看 MRR（平均倒数排名）、Hits@1/10（推理准确率），辅以历史任务平均性能（衡量遗忘缓解）。

4.3核心实验结果

**主实验优势：**DGAR 在所有数据集、指标上均显著优于基线，GDELT（高频场景）中 Current MRR 从 15.56 提升至 23.25，历史任务平均性能提升超 20%，有效缓解灾难性遗忘：

**消融实验验证：**HCP（历史上下文提示）、Diff-HDG（扩散生成）、DAR（自适应融合）均为关键组件，移除后 MRR 平均下降 3%-5%，尤其二者协同能大幅降低分布冲突。

**扩展性验证：**适配 RE-GCN、TiRGN、LogCL 三种基模型，均能显著提升 CL 场景下的推理性能，弥补复杂模型易过拟合的短板

**可视化佐证：**实体特征分布经 DGAR 处理后更集中，跨时间阶段一致性强，证明分布冲突缓解效果。

5. 总结

时序知识图谱（TKG）为大语言模型推理、事件预测等任务提供动态结构化知识，但持续更新场景下，传统全量重训成本高，持续学习（CL）微调易引发灾难性遗忘。现有 CL-based TKGR 方法存在历史上下文碎片化、忽视分布冲突两大局限。为此，本文提出深度生成式自适应重放（DGAR）方法。其核心设计包括：以历史上下文提示（HCP）为采样单元，保留实体完整历史语义；通过扩散增强历史分布生成（Diff-HDG）策略，强化跨分布共性特征；采用深度自适应重放（DAR）机制，分层融合历史与当前实体分布。同时，通过 “当前任务损失 + 历史重放损失” 的双损失函数巩固知识。实验在 ICE14、GDELT 等四大基准数据集验证，DGAR 在 MRR、Hits@k 指标上显著优于 FT、TIE 等基线，历史任务 MRR 平均提升 8.23%，GDELT 高频场景下 Current MRR 从 15.56 提升至 23.25。该方法可适配 RE-GCN、LogCL 等多种基模型，兼顾推理性能与遗忘缓解，为动态 TKG 推理提供了高效可落地的持续学习方案。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】