Mirix：多模态记忆的智能体框架-优快云博客

Mirix：多模态记忆驱动的下一代智能体框架

Mirix：多模态记忆驱动的下一代智能体框架

一、框架概述

Mirix 是一个创新的多模态记忆智能体框架，通过集成文本、图像、语音、视频等多种模态的数据采集与长期记忆管理，为用户提供稳定的对话能力和任务连续性支持。

核心特性

🧠 多智能体内存系统：6 大专用内存组件（核心、情景、语义、过程、资源、知识库），由专业化代理管理
🖥️ 屏幕活动追踪：连续可视化数据捕获与智能整合到结构化存储器
🔒 隐私优先设计：所有长期数据本地存储，用户完全掌控隐私设置
🔍 高级搜索能力：支持向量相似度的 PostgreSQL 原生 BM25 全文搜索
🎯 多模态输入处理：无缝集成文本、图像、语音和屏幕截图处理

二、架构设计

MIRIX 由八个专业化代理协同工作，共同处理数字活动并高效管理记忆系统。

系统组件架构

MemoryAgent概述

输入处理流程

对话检索流程

后端核心组件：

fastapi_server.py：HTTP 接口层，定义 MessageRequest，接收前端/服务端请求
AgentWrapper：统一入口与调度中心，协调聊天、记忆吸收、工具连接等任务
TemporaryMessageAccumulator：临时累加与结构化组装，决策内容吸收时机
MessageQueue：向聊天代理或记忆代理发送消息的统一队列
MemoryAgent：情景/程序/资源/知识库/语义/核心记忆代理
Meta Memory Agent：默认路径下的记忆路由与决策者
UploadManager：处理云端文件上传与状态跟踪

三、核心组件详解

3.1 智能体类型体系

分类	智能体类型	核心功能
后台处理	Background Agent	后台任务处理、异步操作
对话交互	Chat Agent	对话交互、消息发送、基础工具调用
反思优化	Reflexion Agent	自我反思、记忆搜索、决策优化
记忆管理	Episodic Memory Agent	事件记录、时间序列记忆管理
记忆管理	Procedural Memory Agent	流程记录、步骤管理
记忆管理	Resource Memory Agent	资源管理、文档处理
记忆管理	Knowledge Vault Agent	知识存储、信息检索
记忆管理	Semantic Memory Agent	语义理解、概念关联
记忆管理	Core Memory Agent	核心信息管理、人格记忆
记忆管理	Meta Memory Agent	记忆元数据管理、记忆更新触发

3.2 记忆管理系统

3.2.1 记忆类型对比

记忆类型	特点	数据类型
核心记忆	长期稳定，很少变化	人格信息、用户信息
情景记忆	时间序列化，包含上下文信息	事件记录
程序记忆	可执行的知识，支持自动化	程序步骤
资源记忆	多媒体支持，版本控制	资源文档
语义记忆	结构化知识，支持推理	概念网络
知识库	结构化存储，高级检索	知识条目

3.2.2 记忆搜索策略

🔤 嵌入搜索：基于向量相似度的语义搜索
📝 BM25 搜索：基于关键词的全文搜索（PostgreSQL 原生支持）
📊 字符串匹配：简单的字符串包含搜索
🔍 模糊匹配：基于编辑距离的模糊搜索

3.3 专业化记忆代理

Meta Memory Agent（元记忆管理器）

角色定位：中央调度器与协调者
核心职责： - 接收用户消息和对话内容 - 分析内容并分类到不同记忆类型 - 触发相应的记忆管理器更新 - 协调整个记忆更新流程

Core Memory Agent（核心记忆管理器）

角色定位：用户档案管理者
技术特性：

存储用户身份、个性、偏好等基础信息
容量管理：90%阈值触发重写压缩
块结构：多块组织，行号标识

Episodic Memory Agent（情景记忆管理器）

角色定位：事件记录者与个人日记管理者
事件属性：

event_type: 事件类型/分类
summary: 事件简要摘要
details: 详细描述文本
actor: 事件生成者（用户/助手）
tree_path: 层级分类路径

Procedural Memory Agent（程序记忆管理器）

角色定位：流程专家与知识技能库管理者
条目结构

entry_type: ‘workflow’, ‘guide’, ‘script’
description: 简短描述文本
steps: 结构化步骤内容
tree_path: 层级分类路径

Resource Memory Agent（资源记忆管理器）

角色定位：文档管理员与资源目录维护者
资源属性：

title: 资源标题
summary: 资源摘要描述
resource_type: 文件类型格式
content: 完整或部分文本内容
tree_path: 层级分类路径

Knowledge Vault Agent（知识库管理器）

角色定位：数据保险库管理者与快速检索服务提供者
数据类型：

entry_type: ‘credential’, ‘bookmark’, ‘api_key’
source: 数据来源
sensitivity: ‘low’, ‘medium’, ‘high’
secret_value: 加密存储的实际数据

Semantic Memory Agent（语义记忆管理器）

角色定位：概念知识管理者与新知识发现者
知识条目：

name: 概念或对象名称
summary: 简明解释或摘要
details: 扩展描述和上下文
source: 知识来源
tree_path: 层级分类路径

3.4 统一工作原则

单次操作原则：每个 Agent 每次只执行一个记忆操作函数调用
层级分类机制：所有 Agent 使用 tree_path 进行内容分类组织
智能跳过机制：无相关内容时调用 finish_memory_update()

四、核心流程机制

4.1 消息处理模式

在 send_message 中，通过 memorizing 参数可以调整交互模式

memorizing = True（纯记忆模式）

# 处理流程
1. 内容累积：用户文本、图片、语音添加到temp_message_accumulator
2. 无AI回复：不发送消息给LLM，用户无回复
3. 立即记忆吸收：调用absorb_content_into_memory
4. 专注记忆存储：内容发送到各记忆Agent存储

memorizing = False（对话+记忆模式）

# 处理流程
1. 准备消息内容：包括文本、图片、语音等
2. 添加上下文：自动添加最近屏幕截图
3. LLM处理：消息放入message_queue生成回复
4. 生成AI回复：用户收到助手回复
5. 并行记忆处理：后台累积对话并触发记忆吸收

4.2 记忆吸收流程

通过 absorb_content_into_memory 方法，开始记忆吸收

消息队列处理
send_message_in_queue → client.send_message → server.send_messages → server._step
Agent 执行
server._step → mirix_agent.step → inner_step → _get_ai_reply
LLM 调用
_get_ai_reply → llm_client.send_llm_request
处理大模型响应
_handle_ai_response
工具执行（记忆工具）
动态加载记忆工具函数，调用 trigger_memory_update 等函数
记忆更新分发
ThreadPoolExecutor 并行发送到各记忆 Agent
记忆插入函数调用
各 Agent 执行对应的插入函数
记忆管理器处理
计算嵌入向量(如需要) → 创建记忆条目 → 数据库事务执行