Anycall.Q-优快云博客

原创 agent memory（benchmark 2篇）

最后，人工标注员检查并修改生成结果，修正长期不一致内容、删除或替换不相关图片、验证对话是否和事件图一致，最终得到平均 300 多轮、19 个 session、9000 多 tokens、跨几个月时间跨度的 LOCOMO 长期多模态对话数据集。相比 LOCOMO 这类更偏 human-human 长对话的数据，LONGMEMEVAL 更强调真实助手场景：用户在很多 task-oriented sessions 中陆续透露自己的偏好、物品、经历、计划、变化信息，系统需要长期记住并在后续使用。

2026-09-27 17:39:45 327

原创 agent memory（4篇）

最后，将每条 rollout 的 advantage 广播给该 rollout 中的所有 segment，再用 GRPO loss 更新 policy agent，使 agent 学会在“原问题 + 摘要”的压缩上下文中继续进行长程搜索和推理。条 rollout，也就是让当前 agent 尝试 8 种不同的记忆管理和答题轨迹。ReSum 的想法：快到上下文上限时，不继续硬塞历史，而是调用一个 summary tool，把过去的搜索轨迹压缩成摘要，然后清空原始上下文，从摘要继续搜索。，但还不直接给正式问题。

2026-09-24 21:03:56 262

原创 From Storage to Experience: A Survey on the Evolution of LLM AgentMemory Mechanisms

LLM agent 为什么需要 memory：LLM agent 是在普通 LLM 基础上加了工具、规划、环境交互能力的系统。。所以如果没有 memory，agent 在复杂多步任务中就容易出现逻辑断裂、重复犯错、目标漂移。

2026-09-24 15:34:41 122

原创 RMBench: Memory-Dependent Robotic Manipulation Benchmarkwith Insights into Policy Design

现有机器人操纵策略，如 π0.6、RDT2，已经具备较强的精细操作能力，但大多面向短时任务，并依赖当前观测或固定长度的历史窗口，这实际上近似假设任务是马尔可夫任务（当前状态已经包含做下一步决策所需的全部信息），即当前或最近观测足以决定下一步动作（抓红色杯子）。现实中大量机器人任务是的，当前观测不足以完成决策，机器人必须利用过去的信息。典型情况包括：遮挡：之前看到目标在 A 箱子中，后来箱子关闭。状态变化：机器人之前已经打开抽屉，但当前视角无法判断，需要记住之前完成的操作。

2026-09-23 20:23:14 371

原创 vla编码action方法

目前大致可以分成四条路线。

2026-09-22 21:17:58 324

原创 vlm-vla

解决“视觉和语言如何对齐”，核心目标是学习：Image↔Text，也就是让图像和文本进入同一个语义空间。它使用两个编码器：Image Encoder、Text Encoder然后通过 Contrastive Learning，让匹配的图像-文本对靠近，不匹配的图文对远离。训练时用了约 4 亿对 image-text 数据，因此模型不再局限于固定类别，而可以利用自然语言描述视觉概念。

2026-09-20 20:58:49 193

原创 EvoAgentX

该评价机制支持在不同粒度上分析 Agent 系统，包括高层的 WorkFlowGraph（Agent 之间的协作结构）和低层的 ActionGraph（Agent 内部动作流程），从而为后续 Workflow Evolution 提供反馈。构建MAS通常需要手动定义代理的角色、指定任务分解策略、设计代理交互和配置执行工作流，CrewAI、CAMEL AI 和 LangGraph 等框架为构建这样的多代理系统提供了通用框架，但它们主要依赖于手工制作的配置或基于规则的编排。(2) 删除 Agent；

2026-09-11 15:19:42 139

原创 SPARKLE（ACL 2026）

Adaptive RAG是“会根据当前推理状态动态决定是否继续检索”的 RAG。普通 RAG 的基本流程通常是：也就是问题一来，先检索一次，然后把检索结果塞给 LLM，最后生成答案。这种流程里的 retrieval 往往是预先固定的：不管问题简单还是复杂，基本都“先搜再答”。而 Adaptive RAG 的核心是把“检索”变成一个动态决策过程。模型在推理过程中会不断判断：现在需不需要检索？如果需要，还要进一步决定：应该检索什么？以及检索到的信息应该怎么加入当前推理？。

2026-09-11 02:04:47 392

原创 A Comprehensive Survey of Self-Evolving AI Agents

其次，MAS支持并行执行，允许多个代理同时工作以完成任务。作者希望未来的 Agent 能够形成一个闭环：在环境中执行任务，监控自身性能和安全状态，根据反馈持续优化 Prompt、Memory、Tool-use strategy 甚至 Agent topology，从而从静态执行系统演进成能够终身学习和持续自我优化的 Self-Evolving Agent。最后，MASE引入了一个终生的、自我进化的循环，在这个循环中，一群代理根据环境反馈和元奖励不断改进他们的提示、记忆、工具使用策略，甚至他们的交互模式。

2026-09-09 17:12:30 233

原创 MAS理解

多 Agent 之间的信息交换机制。多 Agent 之间传什么？多智能体系统的“图结构”，Topology 回答的是：哪些 Agent 之间存在连接？告诉 Agent“你是谁、要做什么、怎么做”Agent 的“核心大脑”保存过去的信息、状态和经验。

2026-09-09 14:36:52 64

原创 RULE （ICLR 2026）

实体-属性对是表示第个实体，表示这个实体的第个属性，是一个二值标记，等于1表示它们之间存在有效的“实体内部对应关系”；实体-实体对为来自第一个图，来自第二个图，波浪号只是用来区分“另一个图里的对象”。其中表示和指的是同一个现实世界中的对象；

2026-04-13 20:46:04 479

原创 Dirichlet 分布

(100,20,20) 像是在说：我见过 140 次，其中大约 100 次支持第 1 类，20 次支持第 2 类，20 次支持第 3 类。(10,2,2) 像是在说：我见过 14 次，其中大约 10 次支持第 1 类，2 次支持第 2 类，2 次支持第 3 类；虽然两者比例一样，但后者“样本量”更大，所以你对这个比例更有把握。它不是给某一个类别的概率，而是给“整组类别概率”一个分布。α0 大，说明分布更集中，随机性更小，表示“更有把握”；α0 小，说明分布更分散，随机性更大，表示“更不确定”。

2026-04-13 17:34:53 195

原创 TIGeR （ICLR 2025）

给定文本 prompt。

2026-04-09 14:26:44 433

原创 RE-IMAGEN（ICLR 2023）

研究发现模型的输出对文本提示中。特别是，当生成有关频繁实体的文本提示时，这些模型通常会生成逼真的图像，忠实地反映实体的视觉外观。然而，当根据不太频繁的实体的文本提示生成时，这些模型要么幻觉不存在的实体，要么输出相关的频繁实体（见图 1），无法在生成的图像和提到的实体的视觉外观之间建立联系。这一关键限制可能会极大地损害文本到图像模型在现实应用中的可信度，甚至引发道德问题。在我们的研究中，我们发现这些模型在生成与代表性不足（under-represented）的群体相关的视觉对象时，质量明显下降。

2026-04-07 20:25:52 416 1

原创扩散模型（Diffusion Models）

然后对 x1,x2 做边缘化（把联合分布里不关心的变量 x1,x2 积分掉，只留下 x0 的分布。它实际上描述的是一条完整的生成链。意思是：要生成 xt−1，不仅要看当前的 xt，还要看后面所有更噪的状态。我们通过对所有中间变量 x1∼xT 积分，得到数据 x0 的概率分布。注意：所有变量（包括噪声变量）与原图像的维度是相同的。，然后你把中间那些潜变量都积分掉，最终得到对真实图像的分布。因为这些变量是连续的，所以这里不是求和，而是积分。假设只有三个变量 x0,x1,x2，x0,x1,x2的联合分布按。

2026-04-06 17:43:29 350

原创 M3STR (ACM MM2025）

如风景、肖像、动植物。这些主要考验模型的视觉识别能力（这是什么？它在哪里？如数学公式、基础图表、代码截图。这些考验模型的符号解析能力。文中指出，现有的测试忽略了像思维导图和知识图谱这种高度抽象的内容。这类图像的特殊之处在于它们不仅是“画”，更是“逻辑”。

2026-04-03 14:07:48 405

原创 FineRAG ( COLING 2025 )

1、如果你让它画一个非常罕见的生物或特定的历史零件，它可能因为没见过而“胡编乱造”。例如，使用提示“一只暹罗猫正在嗅餐桌上的圣诞老人杯子。”作为查询，可能会返回“上面画着一只猫的杯子。”，因为知识语料库中缺乏与原始查询的精确匹配。这导致知识资源不完整，无法概括“暹罗猫”和“圣诞老人杯子”的概念。2、现有的“检索增强生成”（RAG）通常直接拿用户的整句话去搜图，搜出来的参考资料往往不够精准（噪声大），导致画出来的图也不对。

2026-04-01 20:47:43 415

原创 MyGO（2024 ACM MM）

在这些嵌入中，e𝑠𝑒𝑐，s(𝑒)封装了𝑒的全局信息，v(𝑒)，w(𝑒)包含了局部模态信息。对于每个实体𝑒，我们可以收集其用于对比学习的候选对象为 C(𝑒) = {𝑒𝑠𝑒𝑐, s(𝑒), v(𝑒), w(𝑒)}，它由其全局和局部特征组成。其中[CXT]是输入序列中捕获实体上下文嵌入的特殊标记，h是来自CMEE的<s:1>的输出表示，r是每个𝑟∈r的关系嵌入。为了捕获细粒度的多模态信息，我们提出了一种模态标记化（MT）模块，将实体的原始多模态数据处理为细粒度的离散语义标记，作为学习细粒度实体表示的语义单元。

2024-12-16 19:26:06 1399

原创 RSME（ACM MM 2021）

一旦选择了视觉信息，图像将通过遗忘门来增强有益的特征，MRP分数小的噪声将被忽略。（pHash它是一种用于图像识别或多媒体内容相似性检测的技术，pHash 通过将多媒体文件（通常是图像、视频、音频等）转化为一个较短的哈希值，便于比较和搜索相似的内容，如果两张图像非常相似，它们的 pHash 也会非常相似。因此，在本工作中，我们的遗忘门相对容易捕获视觉可检出图像中的视觉信息，而深度语义图像相对难以被模型检测到。在遗忘门中，根据不同的关系情况，增强实体的有益视觉信息，消除视觉相似性较差的噪声。

2024-12-11 13:19:40 1227

原创 Knowledge Graphs Meet Multi-Modal Learning:A Comprehensive Survey部分笔记

在 KG Embedding 训练过程中，模型在正样本和负样本的指导下将实体和关系映射到向量，其有效性依赖于负样本的策略选择和质量来平衡正负实例之间的评分。KG 中的多模态数据通过为选择更高质量的负样本提供额外的上下文来增强传统的负三重采样，从而解决 KGC 模型训练中的关键性能瓶颈。, t）中缺失的关系；探索了 LLM 与生成式 KGC 指令调整的应用，这是 MKGC 中相对未经探索的方法，为进一步探索提供了广阔的领域。（2）模态集成方法使用不同的模态训练单独的模型，结合它们的输出进行最终预测。

2024-12-11 13:01:58 601

原创 TransAE（IJCNN 2019）

对于每个模态，输入层后面是一个具有更少单元的全连接隐藏层，我们将输入分别映射到这些隐藏层，并将它们表示为。知识图中每个实体都有几张图像和一个句子描述，我们首先提取它们的视觉和文本特征向量，然后将这些向量输入到多模态自编码器中，得到联合嵌入作为实体表示。由几个卷积层组成，每个卷积层后面是一个ReLU层和一个最大池化层，在最终的softmax层将图像分类为1000个类别之前，有两个全连接的层。模型，它将段落映射到一个向量，然后通过将段落向量与单词向量平均或连接来计算一个联合向量，并根据联合向量预测下一个单词。

2024-12-10 20:45:55 820

原创 LAFA（AAAI-24）

与现有的 MKGC 方法不同，我们不直接去除这些噪声图像，而是根据上面计算的重要性对它们的视觉嵌入进行线性组合，然后融合视觉嵌入和结构嵌入。根据链接信息计算实体与其关联图像之间的重要性，然后通过我们提出的模态嵌入融合机制融合视觉和结构嵌入，该机制执行线性组合根据视觉嵌入的重要性，并将其与结构嵌入融合。该模块设计了一种模态交互注意机制，根据链接信息动态衡量图像对实体嵌入的贡献，从而判断哪些图像是噪声，并设计了一种模态嵌入融合机制来融合视觉和结构嵌入。是 hi 的邻居实体集。实体和关系的结构嵌入。

2024-12-04 19:42:12 884

原创 AdaMF-MAT（LREC-COLING 2024）

此外，MMRNS 和 KBGAN仅采用单峰得分函数，但我们的方法引入了具有自适应多模态融合的多模态信息，这是 MMKGC模型和训练策略。（提取特征的方式可以是CNN或者ViT，然后对特征进行处理，CNN过程中进行均值池化取窗口内像素值的均值，ViT过程中忽略最后一层输出的全局特征 [CLS]然后对剩下的Patch Tokens 求均值，结果是每张图片得到一个全局特征向量，最后将这些特征通过投影转换为视觉嵌入向量）对于每个三元组（h，r，t），我们为头实体和尾实体生成合成多模态嵌入并构造合成实体。

2024-12-03 18:46:39 1240

原创 MMRNS（2022 ACM MM）

（图像建模的视觉Transformer模型，借鉴了BERT中掩码语言模型，与ViT相比，ViT是直接用于监督学习的图像Transformer模型，而BEiT通过自监督预训练学习通用表示，然后迁移到下游任务。我们用跨模态特征来表示关系无关的特征，这些特征在不同关系下都是重要的，以识别硬样本。例如，在图1中，taylor Swift的负样本应该是一个与人相关的实体，包含更多与人体或面部相关的属性，而不是其他不相关的实体，如位置，无论关系是AwardOf还是Girlfriend。因此，迫切需要一种专门。

2024-11-27 22:28:44 1021

原创采样温度T

采样温度是用来调节模型在生成输出时，从概率分布中选择下一个输出的方式。它通过一个公式调整分布的“平滑程度”，具体作用于。，原本高概率的选项变得相对不那么占主导地位，低概率选项有更高的选择可能性。当 T→0：分布趋向“硬选”，只会选择概率最高的选项（类似贪心搜索）。适用场景：模型生成默认的输出结果，无额外随机性或调整。当 T→∞：所有选项的概率趋于均匀分布，完全随机选择。，高概率的选项被放大，低概率的选项被进一步抑制。适用场景：需要更高的多样性或创造性的生成结果。适用场景：需要更确定性和连贯性的生成结果。

2024-11-27 22:06:27 524

原创 VISTA: Visual-Textual Knowledge Graph Representation Learning（2023 EMNLP）

我们将 ViT的输入大小调整为 224 × 224，并将最后一层 Transformer 网络的 [class] token 的隐藏状态作为整个图像的全局特征表示，视为视觉特征向量。而现有的知识图谱不提供三元组的图像，并且可能缺乏视觉上可表达的三元组，因为它们主要是通过从文本中提取信息来构建的。中的一些尾部实体包含谓词。，我们使用了预训练的 BERT。我们将 VTKG 定义为 G = (V,R,T, I, D)，其中 V 是一组实体，R 是一组关系，T 是一个三元组的集合，I是一组图像，D是一组文本描述。

2024-11-26 20:42:49 1137

原创 MMKRL（2022 Applied Intelligence）

表示生成的对抗性样本，梯度符号 ∇x表示对输入 x求导，ε是一个用于缩放扰动大小的超参数，∇代表损失函数Lki的梯度，θ是当前的知识整合参数。为了减少统一空间中集成多模态实体和关系的差异性，我们考虑了距离，并通过最小化知识对齐损失来更新多模态kg的表示。之前的方法忽略了知识整合后的重构误差，使得KRL模型难以保持多模态知识库的固有特征，重构误差是指输入知识与集成知识之间的语义差异。具体而言，MMKRL首先通过对不同的似然函数求和来重构多源知识，然后使用特定的范数约束对多源知识进行对齐，以减少重构误差。

2024-11-25 21:57:43 955

原创 MKBE（2018 ACL）

利用一个全连接网络，输入是已经训练好的向量，输出是数值和类别，损失函数是 RMSE（均方根误差，用于数值预测）或者 cross-entropy（交叉熵损失，用于分类任务）；但是不足之处在于不知道到底引入的哪一部分多模态数据对最终的链接预测产生提升，以及产生的多模态数据质量不是很理想。对于知识库中的实体，将他们的 one-hot 编码通过一个 denselayer （全连接层）得到它们的 embedding；是模型预测出来的这个三元组成立的概率，它的值介于 0 到 1 之间。

2024-11-25 13:50:34 360

原创多模态DKRL和IKRL

其次，为了实现多个图像表示的融合，我们实现了一种基于实例级注意力的学习方法，自动计算每个实体在不同图像实例上所应给予的注意力。图像表示模块使用了AlexNet（作为神经网络来提取图像的特征，包含5个卷积层、2个全连接层和1个softmax层），用一个共享的投影矩阵将图像特征表示从图像空间转移到实体空间。中，我们首先从原始文本中删除所有停止词(频率很高，但对语义贡献较少的词)，然后在描述中标记所有短语（我们简单地选择训练集中的所有实体名称作为短语），并将这些短语视为单词。,xn)的预处理描述，

2024-11-24 17:35:39 858

原创 IMF: Interactive Multimodal Fusion Model for Link Prediction（2023 WWW）

为此，我们提出采用双线性模型作为多模态信息融合的基石，该模型具有较强的实现全参数交互的能力。然后，使用上下文变换矩阵对实体嵌入进行投影，得到上下文嵌入，用于计算与所有候选实体的相似度（余弦相似度）。在多模态设置下，我们为每个模态分配不同的上下文关系模型，并利用它们自己的结果在不同的视图下进行训练。（嵌入模型转化为向量或矩阵表示后通过某种融合方法（如外积操作，论文中也没说是怎么融合的/(ㄒoㄒ)/）构造的一个高阶张量。Pc是核心张量，Ms、Mv、Mt是不同模态下的模态因子，Md是其他特定维度下的模态因子。

2024-11-21 08:51:16 540

原创 MKGformer（2022 SIGIR）

本文在自注意层提出了一个前缀引导的交互模块（PGI），以预先减少模态异质性，并进一步设计了一个相关感知融合模块（CFM），在FFN层实现了token-wise细粒度融合，以减少来自不相关图像/对象的噪声。我们先将每个图像重新划分为到统一的𝐻×𝑊像素，然后将图像重新调整为 u = HW / P^2 个展平的二维小块（patch），其中 P 是每个小块的尺寸，然后，对文本标记的相似矩阵𝑺执行softmax函数，并对图像中的视觉标记使用平均标记智能聚合器（将多个特征平均或加权平均的技术，）

2024-11-13 14:02:00 1208

原创图神经网络知识图谱推理模型（R-GCN、KBGAT、CompGCN）

通过这幅图可以看清，对于中心红色的节点进行一次卷积，通过聚合邻居节点的信息来更新自身节点的表示。图中节点vi的更新方式如下：R为关系结合，N为邻居点集合，c为一个常量（正则化系数），W为参数矩阵遍历每一种关系下，叠加每一个点的邻居点的特征进行融合，最后加上一层的中心节点特征，经过一个激活函数输出作为中心节点的输出特征由于关系类型的数量可能非常多，直接对每种关系类型都分配一个参数矩阵，导致参数数量过多，为防止过拟合，提出了两种方法对R-GCN层进行正则化为块对角矩阵。

2024-11-06 22:03:11 2179

原创基于平移距离的知识图谱推理模型（TransE、TransH、TransR、TransD、RotatE）

将关系视为低维向量空间中的头实体到尾实体的平移训练目标：最小化正确的三元组与错误的三元组之间的分数差距。具体来说，对于正确的三元组（头实体，关系，尾实体），TransE希望满足公式中的近似关系，而对于错误的三元组（头实体，关系，错误的尾实体），TransE希望分数差距大于某个阈值。损坏三元组由训练三元组用随机实体替换头部或尾部组成，但不能同时替换。局限性：TransE模型在处理多对一、多对多、自反关系的会有很多局限性。如将三元组（诺兰，导演，《星际穿越》）等同于（诺兰，导演，《盗梦空间》）将头实体、尾实体

2024-11-04 21:54:10 882

weixin_54387067的博客