AstrBot插件Mnemosyne长期记忆拼接机制优化探讨

AstrBot插件Mnemosyne长期记忆拼接机制优化探讨

astrbot_plugin_mnemosyne 一个AstrBot插件，实现基于RAG技术的长期记忆功能。 项目地址: https://gitcode.com/gh_mirrors/as/astrbot_plugin_mnemosyne

背景介绍

AstrBot插件Mnemosyne是一款为聊天机器人提供长期记忆功能的插件，它能够存储和检索用户与机器人的历史对话内容。该插件通过将检索到的长期记忆内容拼接到系统提示词末尾，为AI模型提供上下文信息。然而，这一设计在特定API调用场景下会显著增加计算资源消耗。

问题分析

在DeepSeek等API服务中，存在上下文缓存机制。该机制的工作原理是：当API检测到当前请求的上下文起始部分与之前处理过的请求相同时，可以复用部分计算结果，从而减少实际处理的token数量并降低费用。

Mnemosyne当前将长期记忆内容直接附加在系统提示词末尾的设计，实际上破坏了这一缓存机制。因为每次对话的系统提示词起始部分虽然相同，但由于拼接的记忆内容不同，API无法识别为相同上下文，导致缓存命中率大幅下降。根据实测数据，这种设计可能导致API调用费用增加约4倍。

技术解决方案

为解决这一问题，可以考虑以下两种优化方案：

1. 记忆内容前置方案：将长期记忆内容放置在系统提示词之前，保持系统提示词的完整性。这样API能够正确识别相同的系统提示词起始部分，提高缓存命中率。

2. 动态拼接位置配置：提供配置选项，允许开发者根据使用场景选择记忆内容的拼接位置。可以包括：

   • 系统提示词前
   • 系统提示词后（当前方案）
   • 最新用户输入前
   • 最新用户输入后

实现考量

在实现上述优化时，需要考虑以下技术细节：

1. 上下文长度限制：无论采用哪种拼接方案，都需要确保总token数不超过模型的最大上下文长度限制。

2. 记忆相关性排序：当存在多条相关记忆时，应该优先保留相关性最高的内容，必要时可以截断或摘要处理低相关性的记忆。

3. 缓存有效性验证：优化后需要通过实际API调用验证缓存命中率的提升效果。

4. 向后兼容性：新方案应保持与现有功能的兼容性，避免影响已部署的实例。

预期效果

实施优化后，预期能够达到以下效果：

1. 显著提高API调用的缓存命中率，降低计算资源消耗。

2. 在保持相同记忆功能的前提下，减少约75%的API调用费用。

3. 提供更灵活的配置选项，适应不同使用场景的需求。

总结

AstrBot插件Mnemosyne的长期记忆功能优化是一个典型的技术与成本平衡问题。通过调整记忆内容的拼接位置，可以在不牺牲功能完整性的前提下，大幅提升系统效率并降低运营成本。这一优化不仅适用于DeepSeek API，对于其他具有类似缓存机制的大模型API也同样有效。

astrbot_plugin_mnemosyne 一个AstrBot插件，实现基于RAG技术的长期记忆功能。 项目地址: https://gitcode.com/gh_mirrors/as/astrbot_plugin_mnemosyne