HippoRAG：受海马体启发的长时记忆模型，提升大语言模型的知识整合能力

最新推荐文章于 2025-11-07 17:06:17 发布

原创

最新推荐文章于 2025-11-07 17:06:17 发布 · 1.9k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #人工智能 #自然语言处理

论文地址：https://arxiv.org/pdf/2405.14831

1. 背景与挑战

1.1 哺乳动物大脑与长时记忆

进化优势: 哺乳动物的大脑进化出强大的长时记忆系统，能够存储大量关于世界的知识，并不断整合新信息，同时避免灾难性遗忘。
知识整合能力: 这种记忆系统使人类能够积累持续更新的知识库，为推理和决策提供基础。

1.2 大语言模型 (LLM) 的局限性

缺乏持续更新的长时记忆: 尽管 LLM 在近年来取得了巨大进步，但它们仍然缺乏类似哺乳动物大脑的持续更新长时记忆系统。
RAG 的局限性:
- 现状: 检索增强生成 (RAG) 已成为 LLM 长时记忆的默认解决方案，允许用户向静态模型提供新知识。
- 问题: 现有 RAG 方法无法有效整合跨段落边界的知识，因为每个新段落都是独立编码的。
- 影响: 许多现实世界的任务，如科学文献综述、法律案例摘要和医学诊断，都需要跨段落或文档的知识整合。

2. HippoRAG：受海马体启发的 RAG 框架

2.1 灵感来源：海马体记忆索引理论

理论核心:
- 海马体: 负责存储海马体索引，即一组相互连接的索引，指向新皮层上的记忆单元，并存储它们之间的关联。
- 新皮层: 处理和存储实际的记忆表征。
- 模式分离: 确保不同感知体验的表征是唯一的。
- 模式完成: 能够从部分刺激中检索完整的记忆。
工作原理:
- 海马体索引通过改变海马体索引而不是更新新皮层表征来整合新信息。
- 当海马体接收到来自 PHR 管道的部分感知信号时，它会利用其上下文依赖的记忆系统来识别海马体索引中完整且相关的记忆，并将其路由回新皮层进行模拟。

2.2 HippoRAG 的设计理念

HippoRAG 旨在模拟上述人类记忆模型，为 LLM 提供长时记忆。其设计包含三个主要组件，分别对应于人类长时记忆的三个组成部分：

离线索引 (Offline Indexing):
- 人工新皮层: 使用强大的指令微调 LLM 将语料库转换为无模式知识图谱 (KG)，作为人工海马体索引。
  - 过程: 使用 OpenIE 从每个段落中提取显着信号作为离散名词短语，而不是密集向量表示。
  - 优势: 允许更细粒度的模式分离。
- 人工海马体索引: 构建在检索语料库上的开放 KG。
- 人工 PHR: 使用为检索微调的现成密集编码器 (检索编码器) 为 KG 中的相似但不相同的名词短语添加额外的同义关系边，以帮助下游的模式完成。
在线检索 (Online Retrieval):
- 过程模拟: 模仿人脑的记忆检索过程。
  - 输入处理: LLM 提取查询中的显着命名实体 (查询命名实体)。
  - 实体链接: 使用检索编码器将查询命名实体链接到 KG 中的节点 (查询节点)。
  - 模式完成:
    - PPR 算法: 在 KG 上运行 PPR 算法，使用查询节点作为种子，模拟海马体从特定部分线索中提取关联信号的过程。
      - 优势: 能够在单个检索步骤中执行多跳推理。
    - 概率分布: PPR 输出更新后的节点概率分布。
    - 段落排序: 将 PPR 节点概率与之前定义的 P 矩阵相乘，得到每个段落的排序分数，用于检索。
节点特异性 (Node Specificity):
- 概念: 一种更符合神经生物学原理的方法，用于进一步提高检索性能。
- 实现: 将每个查询节点概率与节点特异性值相乘，然后再进行 PPR。
  - 节点特异性: 定义为节点提取的段落数量的倒数。
  - 优势: 仅需要局部信号，更符合神经生物学原理。