- 博客(29)
- 收藏
- 关注
RSS订阅原创 2024–2026 年 + 视觉大模型（VLM / MLLM）+ 解码（decoding）+ 幻觉/语言先验的尽可能完整论文清单（基于最新检索 + 引文网络补全）
的——
2026-04-07 20:59:20
693
原创 多模态大模型产生幻觉的直接原因是否是语言先验问题
判断“幻觉 token 是不是来自语言模型本身”后层并不是“随机出错”，而是被语言先验主导。存在一个“后层机制”在主动改写预测结果。“你现在觉得这个物体在不在？但此时还不知道是谁在改写。这是论文最关键的一步。❌ 幻觉 ≠ 看不见。
2026-03-31 22:42:39
231
原创 MLLM CAN SEE? DYNAMIC CORRECTION DECODINGFOR HALLUCINATION MITIGATION
多模态大语言模型（MLLMs）经常会出现幻觉现象，但其潜在原因仍未被充分理解。在本文中，我们通过实证分析发现，尽管 MLLMs 在最终输出中会错误地生成一些物体，但它们实际上在前面的网络层中已经能够识别出视觉对象。我们推测，这种现象可能是由于语言模型中强大的知识先验抑制了视觉信息，从而导致了幻觉的产生。基于这一发现，我们提出了一种新的动态纠正解码方法（DeCo），用于多模态大语言模型。该方法能够自适应地选择合适的前层，并按比例将这些层中的知识融合到最终层中，从而调整输出的 logits。
2026-03-31 22:19:12
446
原创 -------评价指标-----
不在 GT 里的 object = hallucination。没有幻觉hallucinated的图片。衡量“生成的物体中有多少是假的”衡量“有多少句子包含幻觉”
2026-03-31 14:39:36
412
原创 MuKA: Multimodal Knowledge Augmented Visual Information-Seeking
视觉信息检索任务旨在回答需要外部知识的视觉问题，例如：“这座建筑是在什么日期正式开放的？” 现有基于。
2026-03-08 21:39:14
474
原创 End-to-End Optimization for Multimodal Retrieval-Augmented Generationvia Reward Backpropagation
在本节中，我们首先介绍MM-RAG 为什么需要异构知识库，然后详细说明为 MM-RAG 系统设计的原生多模态组件。最后，我们解释奖励反向传播算法（reward backpropagation），该算法能够实现 MM-RAG 框架的端到端优化。
2026-03-07 20:28:15
379
原创 VisDoM: Multi-Document QA with Visually Rich ElementsUsing Multimodal Retrieval-Augmented Generatio
给定一个查询 qqq，我们有一个由 MMM 篇文档组成的集合其中每一篇文档 did_idi 由 NiN_iNi 个页面构成，表示为我们的目标是为每个查询 qqq 生成文本答案 a^\hat{a}a^，以准确回答用户问题。答案生成过程依赖于从一篇或多篇文档中检索相关的证据上下文。每个查询 qqq 可能需要来自多个文档、多个页面的信息。我们希望提出一个框架，能够在多页、多文档集合上准确回答问题：系统首先在页面、段落或文本块级别检索相关证据，然后利用这些检索到的上下文生成最终答案。
2026-03-03 21:13:52
466
原创 关于多模态RAG
MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text 没有公开代码仓库。GME: Improving Universal Multimodal Retrieval by Multimodal LLMs 没有公开代码仓库。1.多模态RAG论文较少，找不到合适开源论文在此基础上修改，很多论文未被收录。
2026-03-03 16:19:43
224
原创 Self-adaptive Multimodal Retrieval-Augmented Generation
形式化地，RAG 任务首先使用检索器 RRR 从文档集合构建检索数据库。对于查询集合检索器 RRR 会为每个查询 qqq 识别一个相关文档子集并基于该文档集合生成一个由 sss 个 token 组成的答案序列其中，k(k<n)k (k < n)k(k<n) 通常是一个预先设定的检索数量。在多模态 RAG 任务中，整体流程通常包括以下步骤：首先，模态转换器 PPP 将其他模态的信息转换为语言模型 LLL 可理解的格式，并与文本数据进行融合以便检索；
2026-02-09 19:42:07
812
原创 VisDoM: Multi-Document QA with Visually Rich ElementsUsing Multimodal Retrieval-Augmented Generatio
给定一个查询 ( q )，我们有一个包含 ( M ) 个文档的集合其中每个文档 ( d_i ) 由 ( N_i ) 个页面组成，表示为我们的目标是为每个查询 ( q ) 生成文本答案 ( \hat{a} )，以准确回答用户的问题。答案生成过程依赖于从一个或多个文档中检索相关的证据上下文。每个查询可能需要来自文档集合 ( D ) 中一个或多个文档、不同页面上的信息。因此，我们旨在提出一个能够在多页、多文档文档集合上准确回答问题的框架：系统首先在页面级、段落级或文本块级别。
2026-02-09 15:58:23
453
原创 多模态RAG
多模态编码器（Multimodal Encoders）：CLIP、BLIP、BLIP-2、MARVEL、ALIGN、FLAVA、UniVL、GME、VideoCLIP、InferVideo、LLaVA-Lite、MoPA。最大内积搜索（MIPS）：TPU-KNN、ScaNN、MAXSIM、BanditNIPS、FARGO、MARAG、RAC-M3、DeeperImpact、RetrievalAnt、FactMAG-RAG。对于每一个问题，我们从对应的检索语料库中检索 Top-1 相关的图像-文本对。
2026-01-21 13:48:19
649
原创 Multi-modal Retrieval Augmented Multi-modalGeneration: Datasets, Evaluation Metrics and StrongBase
我们对**多模态检索增强多模态生成（Multi-modal Retrieval Augmented Multimodal Generation，M2RAG）**进行了系统性的研究。M2RAG 是一项新颖的任务，使基础模型能够处理多模态网页内容并生成多模态响应，从而在信息密度和可读性方面表现更优。尽管 M2RAG 具有重要潜力，但目前仍缺乏系统研究，也缺少全面分析和高质量的数据资源。
2026-01-18 20:16:12
656
原创 MRAMG-Bench: A Comprehensive Benchmark for AdvancingMultimodal Retrieval-Augmented Multimodal Gener
最近在，即使在**多模态检索增强生成（Multimodal Retrieval-Augmented Generation, MRAG）**场景中，多模态元素虽然被检索出来用于辅助生成文本答案，但生成的仍然是文本内容。为了解决这一问题，我们提出了。为弥补这一空白，我们提供了，这是一个经过精心策划、人工标注的基准数据集，包含。这些数据集涵盖多种难度水平及复杂的多图场景，为评估 MRAMG 任务提供了坚实基础。为了便于严格评测，MRAMG-Bench 提供了全面的评估指标，包括。
2026-01-17 20:07:16
793
原创 Learning to Filter Context for Retrieval-Augmented Generation
在检索增强生成（retrieval-augmented generation）框架下，给定一个样本其中 (q) 表示输入查询（query），(o) 表示标注输出（annotated output），我们的目标是提升生成模型 (M_{\text{gen}}) 的输出质量。我们假设检索系统返回了一组段落P = {p_i},;i \in K,其中每个段落由若干文本片段（text spans）组成：在生成输出 (o) 时，我们可以向模型提供一个或多个选定的文本片段。
2026-01-17 19:41:53
683
原创 Retrieval-Augmented Generation for AI-Generated Content: A Survey(2026)
RAG 的概念最初源于文本到文本的生成任务 [34]，该技术已被扩展应用于多个领域，包括代码 [40–42]、音频 [43,44]、图像 [45–47]、视频 [48,49]、三维内容 [50,51]、知识建模 [52–54] 以及科学智能（AI for Science）[55,56]。系统涵盖了其基础范式、增强方法、应用场景、评测基准、局限性以及潜在的未来研究方向。
2026-01-12 14:00:13
511
原创 Large Language Model Agent: A Survey onMethodology, Applications and Challenges
例如：ReAct [33]：用于“反思式推理”（reflection）ChatDev [28]：用于软件开发协作，Graph of Thoughts [34]：用于复杂问题求解，AFlow [29]：用于自动化工作流程。：如 Camel [25]、AutoGen [26] 和 OpenAgents [40]，通过预定义对话角色（例如用户代理、人类代理、助手）来协调人类与智能体的互动，并通过结构化对话完成任务。长期记忆系统性地归档智能体的中间推理轨迹，并将这些内容综合为可复用的工具，用于未来的任务调用。
2025-12-13 15:35:42
795
原创 Improving Retrieval-Augmented Generation throughMulti-Agent Reinforcement Learning
检索增强生成（Retrieval-Augmented Generation，RAG）被广泛用于将外部知识引入大语言模型，从而提升问答（QA）任务中的事实性并减少幻觉。一个标准的 RAG 流水线通常由多个组件组成，例如查询重写、文档检索、文档过滤以及答案生成。然而，这些组件通常通过监督微调分别进行优化，这可能导致各个组件的局部目标与“生成准确答案”这一整体目标之间产生不一致。
2025-12-13 15:34:45
812
原创 Agent Lightning: Train ANY AI Agents withReinforcement Learning
Agent Lightning，一个灵活且可扩展的框架，使得大语言模型（LLM）可以通过强化学习（RL）方式对任意 AI Agent 进行训练。不同于现有方法会将 RL 训练与 agent 强耦合，或依赖序列拼接与掩码机制，Agent Lightning 实现了 agent 执行与训练的完全解耦，从而可以无缝集成以各种方式构建的现有 agent（例如基于 LangChain、OpenAI Agents SDK、AutoGen 或从零构建的系统），几乎 无需任何代码修改。通过将 agent 的执行过程形式化为
2025-12-11 17:32:25
1204
原创 梳理「Agent（智能体）」领域目前所有主流且可发表论文的方向
Memory 的结构设计（key-value、episodic memory、semantic memory）Memory 写入/更新策略（overwrite、summarize、compress）检索结果压缩（summary、MoE compression、rank+reduce）如何让 Agent 处理长任务、长文档（类似 MemAgent 思路）让 Agent 自动决定“是否检索、检索什么、用多少检索结果”多 agent 协作解决任务（代码生成、游戏、科研自动化）
2025-12-08 13:59:18
2255
原创 DeepSeek-OCR
采用SAM-base（segment Anything Model,80M参数），输入图像被分割成16×16的patch（如1024×1024图片生成4096个patch token）位于SAM和CLIP之间，由两层卷积构成（核大小3×3，步长2，通道数256-->1024），实现视觉token的16倍下采样。作用：通过全局注意力整合压缩后的token，提炼图像全局语义（如文档布局，文本逻辑），为解码提供结构化视觉知识。1.一种特殊的分词方法，对Token进行压缩，减少Token。
2025-11-25 22:29:00
118
原创 CORE: LOSSLESS COMPRESSION FOR RETRIEVAL-AUGMENTED LLMS VIA REINFORCEMENT LEARNING
模块技术作用蒸馏初始化 (Warm-start)从教师模型筛选有效摘要样本提供稳定初始策略GRPO强化学习组内相对奖励 + KL约束端到端优化压缩策略，避免退化任务驱动奖励设计EM + F1联合信号直接用下游任务表现引导压缩模型模型轻量化压缩器远小于下游LLM大幅降低RAG推理成本迁移性强训练于一个LLM，可迁移至其他LLM高鲁棒性与通用性。
2025-11-13 09:31:27
895
原创 论文 | RAG-RL: Advancing Retrieval-Augmented Generation via RL and Curriculum Learning
*多跳问题（multi-hop question）**指需要结合多个独立段落的信息进行推理才能得出正确答案的问题。Hop指推理链中所需的信息步数。例如，一个需要从两个文档中分别提取信息并综合推理的问题即为 “two-hop question”。“passage” 和 “document” 在此文中可互换使用，指由检索器返回的不同上下文片段。这一章节的内容主要为 RAG-RL 提供了理论与技术支撑背景模块核心问题现状与挑战与 RAG-RL 的关系RAG 系统检索-生成协同不足。
2025-10-23 15:10:45
885
原创 MoE（Mixture of Experts，混合专家模型）
要理解所谓的专家，容易把在图片中的每一层的每一个专家或者小的网络模型理解成具体学习的是不同的知识，例如专家一学习Psychology的知识，专家三学习Biology的知识，每个专家都有自己学习的能力和内容，但是，在真正的执行当中，或者真正的数学计算和模型结构学的不是所谓的这些专家知识，而是学习syntactic information所谓的。，在最原始的文章里面说到是一个门控网络通过一个开关去决定选择不同的专家，随着大家对整个计算的认识，就把它变成Router，主要是指路由去决定输入。
2025-10-22 22:16:29
1194
原创 论文 | A Survey on Multimodal Retrieval-Augmented Generation 多模态检索增强生成综述（上）
通过在大规模高质量数据集上的预训练，LLMs 能够学习语言结构与事实知识，生成流畅、连贯的文本，并在问答等任务中表现出强大的理解与生成能力。指来自不同来源和格式的信息，如文字、图片、视频、语音等。总结：多模态检索增强生成（MRAG）是在传统检索增强生成（RAG）基础上的重要拓展，通过在检索与生成过程中融合文本、图像、视频等多模态信息，显著提升了大语言模型的知识利用与生成能力。它不仅能在传统问答中提供更准确的答案，还能生成融合文字、图片、视频的综合响应，为未来的多模态智能体奠定了重要基础。
2025-10-15 21:50:46
945
原创 ⚡FlashRAG：用于高效 RAG 研究的 Python 工具包
FlashRAG 是一个用于复现和开发检索增强生成 (RAG) 研究的 Python 工具包。我们的工具包包含 36 个预处理的基准 RAG 数据集和，其中包括7 个将推理能力与检索能力相结合的✨ 特点：包括 RAG 场景的基本组件，例如检索器、重新排序器、生成器和压缩机，允许灵活组装复杂的管道。：36 个预处理的 RAG 基准数据集的集合，用于测试和验证 RAG 模型的性能。：基于我们的框架，包含我们现在支持，将推理能力与检索能力相结合，在复杂的多跳任务上实现卓越的性能。
2025-10-14 22:08:35
1256
原创 论文 | Retrieval-Augmented Generation for Large Language Models: A Survey面向大语言模型的检索增强生成技术：综述
RAG 是一种优化LLM输出的方法，使其在生成响应之前引用训练数据之外的权威知识库。
2025-10-12 18:28:57
1293
原创 论文 | Retrieval-Augmented Generation for Natural LanguageProcessing: A Survey 面向自然语言处理的检索扩展生成研究综述
本文系统探讨了检索增强生成（RAG）技术及其在自然语言处理中的应用。RAG通过结合外部知识检索和语言模型生成，有效解决了LLMs存在的幻觉、知识更新困难和领域知识不足三大问题。文章详细介绍了RAG的三个核心模块：检索器（包含编码、索引和存储）、检索融合（基于查询、logits和潜在表示）以及生成器（普通LLM和检索增强型）。特别分析了语料切分和检索融合的关键技术，并比较了不同训练策略（带/不带数据存储更新）。
2025-10-09 21:18:43
1334
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人