EM-LLM-model：人类化长期记忆的无限语境LLM

EM-LLM-model：人类化长期记忆的无限语境LLM

EM-LLM-model 项目地址: https://gitcode.com/gh_mirrors/em/EM-LLM-model

项目介绍

EM-LLM（Human-like Episodic Memory for Infinite Context LLMs）是一个旨在将类似人类的长期记忆能力引入大型语言模型（LLM）的开源项目。在传统的LLM中，处理大量上下文信息通常存在困难，而人类的记忆系统则擅长组织和检索跨越一生的经验。EM-LLM的核心思想是结合人类情景记忆和事件认知的要素，通过无需微调的方式，使LLM能够处理实际上无限的上下文长度，同时保持计算效率。

项目技术分析

EM-LLM通过结合贝叶斯惊奇和图论边界优化技术，将输入序列组织成连贯的情景事件。这些事件在需要时通过双阶段的记忆检索过程被高效地检索出来，这一过程结合了基于相似度的检索和基于时间连续性的检索。项目的架构如图1所示，其中展示了在每个LLM层中记忆的形成和检索过程。

项目的关键技术特点包括：

• 记忆形成：输入序列首先通过惊奇值进行分段，然后根据群论度量进行边界优化。
• 记忆检索：通过k-NN搜索和从情景记忆中选择连续事件两种方式实现。

项目及应用场景

EM-LLM的应用场景非常广泛，尤其是在需要处理长上下文信息的任务中。以下是一些具体的应用案例：

• 长文档问答：在处理长篇文档的问答任务时，EM-LLM能够有效地组织文档内容，快速检索到相关信息。
• 对话系统：在对话系统中，EM-LLM可以帮助模型更好地理解和记忆对话历史，提供更自然、连贯的响应。
• 信息检索：在处理大量文本数据的信息检索任务中，EM-LLM能够提高检索效率，提升结果的相关性。

项目特点

EM-LLM具有以下显著特点：

1. 高效的记忆管理：EM-LLM能够以高效的方式处理和检索大量上下文信息，这在传统LLM中通常是难以实现的。
2. 强大的性能：在LongBench和$\infty$-Bench基准测试中，EM-LLM的表现优于当前最先进的检索模型InfLLM，并且在多种任务中超过了全上下文模型。
3. 人类化的事件分割：EM-LLM的事件分割与人类感知的事件有很强的相关性，这表明了该项目在探索人类记忆机制方面的新颖计算框架。

使用指南

要使用EM-LLM，首先需要安装必要的依赖：

python3 -m pip install --upgrade pip
pip install -r "${base_dir}/requirements.txt"
pip install -e "${base_dir}/."

配置文件位于config/目录中，用户可以根据自己的需求调整参数。

评估与测试

项目提供了脚本以方便用户进行数据准备和模型评估。可以通过以下命令下载数据集：

bash scripts/download.sh

接下来，可以通过以下命令进行模型评估：

bash scripts/run.sh

用户可以根据自己的硬件资源调整命令行参数，如选择不同的基准测试、调整GPU数量等。

引用项目

如果您认为EM-LLM对您的研究有帮助，请在您的论文中引用以下信息：

@misc{fountas2024humanlikeepisodicmemoryinfinite,
      title={Human-like Episodic Memory for Infinite Context LLMs}, 
      author={Zafeirios Fountas and Martin A Benfeghoul and Adnan Oomerjee and Fenia Christopoulou and Gerasimos Lampouras and Haitham Bou-Ammar and Jun Wang},
      year={2024},
      eprint={2407.09450},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2407.09450}, 
}

通过以上介绍，我们可以看到EM-LLM在处理长上下文信息方面的强大能力，为相关领域的研究和应用提供了新的可能性。

EM-LLM-model 项目地址: https://gitcode.com/gh_mirrors/em/EM-LLM-model