发现问题，并解决问题，批判性思维

ScaleRL配方中包含了哪些关键技术选择？这些选择是如何影响渐近性能和计算效率的？​​​​异步Pipeline-RL设置​​：提高训练稳定性和效率。​​强制长度中断​​：防止推理输出长度爆炸，提高训练稳定性。​​截断的重要性采样RL损失（CISPO）​​：提高渐近性能。​​提示级损失平均​​：优化损失聚合方式，提高计算效率。​​批次级优势归一化​​：提高计算效率。​​FP32精度在logits​​：减少数值不匹配，提高渐近性能。​​零方差过滤​​：排除贡献为零的提示，提高计算效率。​​无正

GRPO的创新与局限：GRPO简化了PPO，主要变化✅ 用规则函数替代奖励模型✅ 取消了价值模型✅ 优势函数改为输出序列奖励值的标准化但GRPO存在三大问题：序列级奖励与token级动作粒度不匹配重要性采样方差偏移累积MOE模型上训练不稳定DAPO的四大改进移除KL散度约束非对称裁剪(Clip-Higher)动态采样策略token级别的梯度计算GSPO的核心思想：针对MOE模型的特殊性，GSPO将动作粒度提升到序列级别使用序列重要性采样的几何平均减少单个token方差影响更适

相关框架对比： - 需微调模型且资源有限 → Unsloth； - 本地隐私优先的小规模推理 → Ollama； - 复杂逻辑或多模态任务 → SGLang； - 高并发生产环境 → vLLM- 微调SFT和GRPO是确实能学到新知识的- 四种格式（``messages``、`sharegpt`、`alpaca`、`query-response`）在AutoPreprocessor处理下都会转换成ms-swift标准格式中的`messages`字段，即都可以直接使用`--dataset <dat

论文：DeepSeekMath:PushingtheLimitsofMathematicalReasoninginOpenLanguageModels（https://arxiv.org/pdf/2402.03300）GRPO在DeepSeekV2中采用了，GRPO在训练过程中，不需要ValueModel，因此也能够减少RL训练过程中的资源消耗。

SFT使用交叉熵损失函数，目标是调整参数使模型输出与标准答案一致，不能从整体把控output质量，RLHF（分为奖励模型训练、近端策略优化两个步骤）则是将output作为一个整体考虑，优化目标是使模型生成高质量回复。启发1：像可以用6b、66b依次得到差一点、好一点的target构造排序数据集，进行DPO直接偏好学习或者其他RLHF替代方法（RAILF、ReST等），比直接RLHF更方便训练启发2：为了减少幻觉（如拒绝回答），可以构造排序数据集（如good response为拒绝话术，bad respo

Sage-A1.5 走的是第三条路——训练模型学会如何组织自己的工作：知道何时该分派子任务、如何并行协作、何时该停下自查、证据不足时如何换路。概括其转向：从 capability coverage（能覆盖多少领域/任务） → 到 capability composition（能力在执行中如何被组织、协调、自适应组合）。研究动机： 现有 Agent 虽具备工具调用与长轨迹执行能力，但面对复杂任务，仍容易出现上下文干扰、无效探索、错误累积等问题。Sage-A1.5 在 Agents-A1 基础上，重点从“执行

note核心： 从原始视频自动构造时序排序、物体计数、异常定位等可验证任务，再通过 RLVR 提升模型的视频理解能力。VideoSSR 提出，不必依赖昂贵的人工标注或容易带偏见的模型标注，而是直接对原始视频做可控制的扰动，自动生成“答案天然可验证”的训练题，再用强化学习训练多模态大模型的视频理解能力。VideoSSR 最有价值的地方，不是单纯提出三个训练游戏，而是提出了一套数据生产机制。传统范式是：人工理解视频 → 出题 → 标注答案 → 模型学习。VideoSSR 的范式是：视频本身保存答案 →

核心结论： VITAL 让多模态大模型在回答视频问题前，先判断“要不要回看、回看哪一段”，再通过视频裁剪工具获取关键时间段的密集帧，形成“文本推理 + 视觉证据”的多模态思维链。该方法主要解决长视频理解中的跨模态交互不足和幻觉，在 11 个视频理解基准上取得领先，尤其擅长长视频问答和时间定位。VITAL 的本质，是教会多模态大模型在视频推理中“不懂就回看”：模型先形成时间假设，再调用视频裁剪工具密集观察关键片段，最后依据真实画面作答；通过 SFT 冷启动与 DGRPO 强化学习，将时间定位、视频问答和

note动机： 传统具身智能模型通常针对单一任务/机器人分别训练，例如机械臂操作、导航、轨迹预测各用一套模型，跨任务、跨环境、跨本体泛化差。Qwen-VLA 希望把这些任务统一成一个“视觉+语言→连续动作/轨迹”的通用模型。核心方法： 以 Qwen3.5-4B VLM 为认知骨干，负责视觉理解、空间推理和指令理解；外接约 1.15B DiT flow-matching action decoder，生成连续机器人动作。通过 embodiment-aware prompt 告诉模型当前机器人类型、单/双臂

这篇论文证明了"RLCD 模型（Jev）可以当零样本、低成本的 AI 对齐失败检测器"，但代价是必须做好两件事——补齐定义失败的参照上下文、用小样本重新拟合阈值，否则排名好看、实际部署会翻车。不用生成长文本，直接让 Jev 对很多判断问题输出概率，比如 P(jailbreak)=0.93、P(hallucination)=0.12，并测试这种概率能不能直接检测 alignment failureGenerative Judge → Probabilistic Judge，不生成 “Yes, this i

The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement链接：https://arxiv.org/abs/2609.11873Motivation：当下很多Agent工作宣称实现AI自我改进，但大多只是上下文内微调、固定流程试错，没有统一标准区分“表层自优化”和真正递归自我改进（RSI）。缺乏可量化的分层框架，用来评估AI自主迭代能力。方法与问题：提出5级RSI能力栈：L1执行自动化、L2策略搜索、L3经验自动化、

总结：让 7B 视频大模型像侦探一样，在一个共享上下文里反复调用"视频裁剪"工具去主动找线索、看细节、自己决定何时收手，并用注意力解耦 + 轨迹奖励两项技术让这个多轮过程训得动、停得住。MLVU 72.1%、Video-Holmes 46.5%，均为 7B 量级 SOTA。Video-o3 把"主动找证据"这件事完整闭环了：范式上用共享上下文多轮工具调用替代解耦迭代（换来了效率与联合推理），训练上用注意力 mask 解决异质任务干扰、用轨迹奖励解决"准确定位 + 及时终止"这个 RL 中难以用语言描述的策

InternVL3.5 用 Cascade RL 把"强化学习提推理"的性价比拉高了一档，用 ViR+DvD 把"高分辨率多模态"的推理成本砍到 1/4，同时把触角伸到 GUI、具身、SVG 等智能体能力上——是目前开源 MLLM 里通用能力最接近顶级商业模型的一个系列，但在幻觉抑制与部分理解类任务上仍有明确的改进空间。文章目录note一、研究动机：开源多模型的两道坎二、论文核心：三个创新点1. Cascade RL（级联强化学习）—— 核心贡献2. ViR + ViCO（视觉分辨率路由）——

用 <g> 把 CoT step 和 SVG 代码块对应起来；构造 131K SFT + 14.4K RL 数据；Qwen3-VL-8B 做两阶段 SFT + 三任务联合 GRPO，并设计 format / DINO / CLIP / efficiency 四类 rewardCTRL-S 的价值不在"又加了个 RL"，而在于把结构化 CoT（步骤对齐 <g> 分组）+ 多任务联合 + 多奖励门控三件事拧成一个统一范式，让 SVG 生成同时拿到了更高成功率（99.85%/99.93%）、更强视觉保真（DIN

OmniGAIA 填补了原生全模态 Agent 评测的空白，其事件图构造法可扩展至更多场景；OmniAtlas 证明了通过高质量轨迹合成 + Masked SFT + OmniDPO 能显著提升开源模型的工具集成推理能力，但感知底座与 Hard 任务推理仍是开放挑战。文章目录note一、研究动机：为什么需要 OmniGAIA？二、OmniGAIA 基准 + OmniAtlas 智能体2.1 OmniGAIA：如何构造“难而可解”的全模态任务？数据底座四阶段流水线（重点）2.2 OmniAtl

MMAgent-R² = 图搜 + VLM视觉重排 + 不确定时主动拒绝并继续检索 + 文搜 + Answer，再用 GRPO 对整条 Agent Loop 做训练，并额外给 Rerank/Reject step-level reward文章目录note一、研究动机：mRAG 在 KB-VQA 里的“识别瓶颈”二、论文核心：Agentic mRAG + 视觉重排/主动拒绝 + GRPO 步级奖励1. 智能体动作空间（单模型统一调度）2. 多轮 Agentic Loop3. 复合奖励 + GRP

VideoSeek Benchmark：Tool-augmented active perception in long video多模态理解侧重于如何在较长的时间跨度内定位有用信息，包括决定检查哪些片段以及调用哪些感知工具。Understanding​ → 主要吃 C1（H1）和 C2（H2）的亏，靠 Context/Memory 外化解决；多模态生成侧重于如何理解用户意图并进行多轮规划、生成与优化，这一过程依赖于外部证据、验证机制和持久记忆。Generation​ → 叠加不可逆副作用，靠 Pl

多模态 MoE 模型，主模型参数量为125B，额外配备 51B 的 N-gram Embedding，每 token 激活 6B 参数。 它原生支持 262,144 token 上下文，并可通过 YaRN 扩展至 1M token。Attention：采用 GDN + QSA Hybrid 架构。Gated DeltaNet（GDN）高效压缩历史信息；Qwen Sparse Attention（QSA） 通过压缩式轻量 Indexer 在 micro-block 粒度上筛选重要上下文，显著降低长序列 At

任务：生成式多模态情感识别（MER）——输入视频/人脸+语音+字幕，模型用自然语言说出情绪状态（如 “nervous, concerned” 或 “neutral”）。输出的结果比如The character's emotional state is nervous, concerned.。Light-MER 的蒸馏：从 logits 移到 hidden states（最后一层）、从 KL/MSE 换成 Sliced Wasserstein Distance（SWD）工作：用一个 0.6B 的多模态小模

Video-DeepResearch（arXiv:2608.03979）把“Deep Research”从文本/静态图推到连续视频流 + 开放网页检索的场景，核心不是堆参数，而是用训练范式和评测设计逼模型先“看视频”、再“搜网页”。这篇的价值不在 SOTA 数字，而在把“视频里的 deep research”定义成先时序 grounding 再网页验证的强制闭环，并给出可复现的数据-训练-评测三件套。30B 打平 Claude-4.5 这点，基本宣告视频 agent 方向“训法 > 参数量”的范式切换。

方案选型：做图片输入 + function call 通用多模态 Agent → 优先看DeepSeek‑Harness + MTA‑Agent；做图片多轮检索求证 → DR‑MMSearchAgent；做长文档图文问答 → MDocAgent；做成本优化、工具调用节流 → ToolGate；做GUI 屏幕自动化 Agent → UI‑TARS / Agent‑TARS。文章目录note一、2026多模态Agent研究热点二、相关项目1、框架类2、多模态深搜三、选型总结一、2026

给出了一套比较完整的 长视频 Omni 模型训练 recipe：AV-Skills 数据 → Short → Long → Timestamp CoT → GRPOAV-Flamingo 是一个面向长视频 Audio-Visual 理解的开源 7B 模型，核心贡献不是新 Backbone，而是 AV-Skills 大规模音视频数据、Short→Long 课程训练，以及带时间戳的 TAVIT CoT + GRPO，让模型能够在长视频中进行跨时间、跨音视频模态推理。Audio-Visual 联合训练：不是简

多模态搜索里的工具（比如图搜、截图放大）有个特殊性质：只要你给的参数一样，拿到的信息就一定一样，跟前面怎么推理的没关系。既然同一个动作在成功轨迹里是好用的，那它在失败轨迹里就不该被一棍子打死，TAPO 就是专门纠正这种“冤枉好人”的优化算法。TAPO 敏锐捕捉到 GRPO 在多步工具调用场景下“一刀切”赋值的弊端，利用工具参数的确定性在批次内做低成本反事实推理与优势补偿，在几乎无额外开销的前提下，通用且稳定地提升了多模态搜索智能体的训练效率与最终表现，同时缓解了熵崩塌与工具回避行为。文章目录note

一、研究动机二、Embed-RL嵌入器引导的强化学习（EG-RL）框架可追溯思维链（T-CoT）高效训练与数据构建三、实验结果MMEB-V2 综合表现UVRB 视频检索表现消融实验验证必要性四、分析与讨论一、研究动机Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal EmbeddingsECCV 2026这篇论文《Embed-RL: Reinforcement Learning for Reasonin

本文提出了VQAThinker，一种基于推理的VQA框架，通过结合大型多模态模型和强化学习，实现了可泛化和可解释的视频质量评估。它把视频质量评估从“直接回归一个分数”，升级成“先像人一样分析视频有哪些质量问题，再给出分数”，并用 GRPO 强化学习只靠 MOS 分数监督，就训练出既能打分、又能解释的视频质量评估模型。VQAThinker引入了三种VQA特定奖励函数，分别用于细粒度的得分预测、相对质量判别和时间失真建模。广泛的实验表明，VQAThinker在领域内和领域外的基准测试中均取得了最先进的性能，

Video Quality Assessment，视频质量评估。常见输出：质量分数 + 质量问题原因，比如模糊、噪声、压缩块、抖动、曝光差、运动不稳定、构图差等。VQA近几年的发展路线：1、参考论文：FAST-VQA → DOVER → MD-VQA → MaxVQA → LMM-VQA → VQA² → VQAThinker → MDS-VQA2、路线演变：高效打分模型 → 多维质量建模 → 可解释评估 → 大模型/VQA化 → RL增强 → 数据选择优化。文章目录note一、Video Qu

一、E-VAds: An E-commerce Short Videos Understanding Benchmark for MLLMsE-VAds: An E-commerce Short Videos Understanding Benchmark for MLLMs链接：https://arxiv.org/abs/2602.08355开源：https://github.com/TaobaoTmall-AlgorithmProducts/E-VAds_Benchmark电商视频现有MLLM

JoyAI，实时视频 Agent（Streaming Video Agent）：Video Understanding + Agent Policy Learning输入：连续的视频流（每秒若干帧）+ 用户上下文；输出：每秒做一个动作决策——说话（response）、沉默（silence）或者委托后台 Agent（delegate）。文章目录note一、研究背景二、JoyAI-VL-Interaction三、实验设计四、结果分析五、论文评价1、优点与创新2、不足与反思六、关键问题问

判别器作为on-policy奖励模型，在训练过程中不断适应学生的行为，提供了稳定且动态的监督信号。对应的loss为Bradley-Terry loss，具体公式为-loss log σ(D(y_t)-D(y_s))生成器根据给定的提示生成响应，判别器则评估这些响应的质量，区分教师和学生的输出。生成器的目标是生成判别器无法区分的响应，而判别器的目标是区分教师和学生的响应GAD框架有效地解决了黑箱LLM蒸馏的关键挑战，通过在最小最大博弈中训练学生模型和适应性判别器，无需任何logits级别的监督实验结果表

OPD 的监督更多来自 teacher 分布或 teacher feedback；RL 更多来自 reward/verifier- OPD 解决长轨迹误差累积（exposure bias），让学生模型自己 rollout，再由教师/奖励模型/验证器对学生真实轨迹提供监督信号，最后更新学生模型。- OPSD = OPD 的自蒸馏版本：student 自己 rollout，然后用“带 ground truth / privileged information 的自己”当 teacher，去教“不带这些信息的

GRPO对于多reward情况会损失训练信号（模型无法区分是哪些具体的reward在做贡献），GDPO通过一个tirck即先将reward分别单独归一化后再相加，解决了多奖励RL优化中的归一化问题，提高了训练稳定性和模型性能。@[toc]# 一、研究背景项目链接：https://github.com/NVlabs/GDPOGDPO 适用于多奖励优化场景：当使用多个奖励函数时，GDPO 会对每个奖励函数分别在组内进行标准化（减均值、除标准差），然后使用 reward_weights 进行

这篇论文提出了Agent-World，一个通用智能体训练竞技场，结合了可扩展的真实环境合成和连续自我进化训练机制。通过在23个具有挑战性的基准测试中的实验，证明了其在提高代理性能方面的有效性。进一步分析揭示了环境多样性、进化轮次和任务难度之间的扩展关系，表明可扩展的真实环境不仅是有用的数据源- 不只是训练 Agent 会 function call，而是先大规模自动构造“真实可执行环境”，再让模型在这些环境里做多轮工具交互 RL，最后形成一个“环境变难 → 暴露模型短板 → 针对性造新任务 → 继续训练”

本文提出了 SDAR，通过 sigmoid 门控让每个token自主调节其蒸馏强度，从而在多轮agent训练中调和了 RL 和 OPSD。实验结果表明，SDAR 在三个基准和三种模型规模上均优于纯 RL 和混合基线。teacher 多了 retrieved skill，但 skill 可能：检索错、内容不完整、teacher 没用好 skill、多轮后上下文漂移Token-Level Gating：不是所有 token 都蒸馏，而是每个 token 自己决定要不要相信 teacher。RL 保证按真实

工具环境构建。3 大类 8 种工具，检索工具：TEXTSEARCH、IMAGESEARCH图像增强：SHARPEN、SUPERRESOLUTION PERSPECTIVECORRECT注意力解析：CROP、OCR【Step1.检索工具集成】文本搜索=Serper查询+JINA网页解析+Qwen3-32B摘要；图像搜索=PolarisLens反向图搜+实体识别->【Step2.图像增强工具实现】锐化=OpenCV反锐化掩码；超分=EDSR深度模型；透视校正=Canny边缘+四边形拟合+透视变换-

SKILLRL：skill是通过语义相似度检索召回，动态注入到prompt中技能蒸馏和递归进化机制：类似hermes agent自进化，失败的轨迹也能总结为skill为后续使用SKILL0总结：In-Context Reinforcement Learning, ICRL：训练 rollout 时提供 structured skill guidance但推理时完全移除 skill，让 RL 优化过程驱动模型从“依赖上下文”变成内化到模型参数Dynamic Curriculum：课程动态学习

DeepSeek-V4优化点：1、混合注意力架构：我们设计了一种结合压缩稀疏注意力（Compressed Sparse Attention, CSA）与重度压缩注意力（Heavily Compressed Attention, HCA）的混合注意力机制，显著提升长上下文处理效率。在百万 Token 上下文场景下，DeepSeek-V4-Pro 相较于 DeepSeek-V3.2，单 Token 推理所需的 FLOPs 仅为其 27%，KV 缓存占用仅为 10%。2、流形约束超连接（Manifold-Co

Deep Research 的训练数据必须专门构造：数据里的每道题，必须让模型学会多步推理、动态调整搜索策略、在不确定中继续前进。四种Deep Research数据构建方法：SailorFog-QA就是根据知识图谱构建多跳推理数据。“答案可验证”是因为在“知识图谱路径”走“推理跳数”可以构造多跳推理数据。WebFrontier：从seed数据进行泛化（实体替换、新增条件、比较合并、否定反转）WebShaper：先focus推理链的生成，用知识投影，每步有（属性查找、关系跳转、比较、否定）等，推理结构

以轨迹来源为核心维度，将大模型后训练，按照轨迹来源分类，可以分为离策略学习【基于外部提供轨迹更新模型】、在线策略学习【基于当前模型生成轨迹更新模型】后训练本质是对模型行为的结构化干预，所有后训练方法（SFT、偏好优化、RL、蒸馏等）最终都在改变模型的轨迹分布，而非仅仅拟合标签或优化单一目标。其学习信号包括Token、偏好、奖励、验证器、教师指导等。文章目录note一、研究背景二、研究方法1、Off-Policy Post-Training2、On-Policy Post-Training三、

GLM5：海量通用语料打底 → 长上下文和 Agent 数据强化 → 用监督学习塑形 → 用多阶段 RL 提升推理和执行能力 → 最后用蒸馏把各阶段能力重新“缝合”起来，避免遗忘thinking模式：单轮内部：是不是支持 interleaved thinking。也就是一边想、一边调工具、拿到结果再想。跨轮之间：是不是支持 preserved thinking，也就是上一轮那些 thinking，到了下一轮还在不在上下文里。hybrid reward system，将三类奖励信号结合起来使用：ru

【文档多模态模型进展】MinerU2.5-Pro更新，主要特点是保留 MinerU2.5 的 1.2B 参数架构，主要改动点是训练数据从不足 1000 万页扩至 6550 万，工作报告在：MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale，https://arxiv.org/pdf/2604.04771，代码在: https://github.com/opendatalab/MinerU，模型权重在: h