发现问题，并解决问题，批判性思维

# 一、背景篇## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下

# note- 痛点：训练垂直领域模型，sft数据和增量pretrain数据质量把控很重要 - 当数据不够时，通过self-instruct等方法造多样化的数据 - 当数据很多时，需要清洗/筛选出高质量数据@[toc]# 一、sft数据的筛选策略内容概要：- 构造sft数据- 评估sft数据质量和数量- 自动化筛选高质量sft数据## 1.1 使用self-instruct构造sft数据论文：《Self-Instruct: Aligning Language Model wit

EcomGPT：电商领域大模型解决问题：解决电商场景任务（如品牌识别，评价解析，广告文案生成等）论文链接：https://arxiv.org/abs/2308.06966GitHub链接：https://github.com/Alibaba-NLP/EcomGPT1. sft数据从学术论文或竞赛平台等开放数据源收集了共65个各种电商任务数据集，包括命名实体识别、评论问答、商品类目预测、多轮对话等传统的自然语言处理任务。这些开源数据集的任务都是由领域专家设计，然后由受过培训的人工标注，数据质量很高

当前比较主流的一些分布式计算框架 DeepSpeed、Megatron 等，都在降低显存方面做了很多优化工作，比如：量化、模型切分、混合精度计算、Memory Offload 等文章目录note大模型参数计算1. 模型参数单位2. 训练显存计算3. 推理显存计算大模型的分布式训练1. 数据并行2. 模型并行3. 流水并行4. 混合并行模型量化DeepSpeed ZeRO：零冗余优化DeepSpeed Chatfastertransformer：LLM推理加速引擎Megatro

OpenAI Sandbox Agents 的本质，是为 Agent 提供标准化、有状态、可恢复的执行环境。它将工作区初始化、Shell 执行、文件操作、会话管理和持久化能力集成到 Agents SDK 中，让开发者更容易构建 Coding Agent、数据分析 Agent 等需要真实文件操作的系统。Manifest = 初始化；Session = 持续运行；Snapshot = 保存与恢复文件状态。文章目录note一、Sandbox Agents沙箱智能体二、核心架构与执行原理三、状态管理与

DeepSeek Super-agent 的核心不是让单个 Agent 更聪明，而是让 Agent 系统更自主。它通过 Router + Worker + Event-Driven + Async ReAct + Memory + Watchdog，将传统的被动式 Agent 转变为能够主动接收任务、并行执行、管理上下文、持续运行的智能体系统。研究背景：传统 Agent 依赖用户主动发起任务，需要人工管理多个 Session、跟进执行进度，难以实现长期自主工作。DeepSeek 提出 Super-agen

研究背景：现有 Agent 自进化方法（AHE、GEPA、A-Evolve、Hyperagents）缺乏统一的执行、评测与组合框架，难以公平比较和复用。核心方法：统一进化闭环：Select → Rollout → Analyze → Mutate → Guardrail → Evaluate → Absorb，通过任务执行、失败分析、候选修改、独立评测和版本吸收，实现 Agent 持续迭代。可组合进化策略：集成四种已有方法，支持优化 Prompt、Skills、Harness 等 Agent 组件，而

DeepSeek 的完整在线系统采用 Vision Encoder / Prefill / Decode 分离部署（EPD Disaggregation）：请求 → Vision Encoder（按需）→ Prefill → KV Cache 传递 → Decode → 输出。不同阶段独立扩缩容和负载均衡，从而分别优化首 Token 延迟（TTFT）与生成速度（TBT）。文章目录note一、研究动机：推理瓶颈不只是算力二、核心技术：五个优化方向三、生产级推理架构四、技术评价：核心是系统级协同优化

harness的8个组件：System Prompt（定义 Agent 总体角色与行为原则）、Guardrails（规定必须遵守的约束与检查规则）、Memory（保存可跨步骤/任务复用的信息）、Skills（提供解决特定任务的 SOP/经验）、Tool Guidance（告诉 Agent 各工具何时以及如何使用）、Scripts（提供可直接执行的确定性程序）、Subagents（通过子 Agent 实现任务分工与上下文隔离）、Plugins（在 Agent/Tool Loop 特定节点自动介入的中间件逻辑）

MASS 两阶段：阶段一：Workflow Evolution，优化的是一段描述 Multi-Agent 组织方式的 Prompt / JSON 配置，不训练模型。阶段二：Trajectory SFT，把最优 Workflow 执行产生的 Orchestrator + Subagent 多轮工具调用轨迹转成 SFT 数据，训练模型权重。注意MASS 第二阶段只训练一个共享的 LLM，而不是分别训练 Orchestrator 和 Subagent 两个模型。文章目录note一、研究动机：同质化自反馈

全模态结构化解析模型Youtu-Parsing-Omni-5B，一个5B模型把文档、自然图像、音频、视频统一解析成 带空间/时间锚点的结构化JSON记录 ，定位是给LLM agent提供“感知层”，让LLM读取、定位、引用多模态证据，是个基础设施。这是一个趋势，给Agent做基础设施。其真正主张是“解析即感知接口”，多模态输入一次性转成带锚点的文本记录，agent不需要反复重编码视觉/音频token，且结论可通过bbox/时间戳回溯。这与RAG和computer-use agent的趋势直接对齐，但是，局限

VideoJev：Qwen3.5 + Scoring Head + 两阶段多任务 SFT + 视频 KV Cache 复用VideoJev 把传统视频大模型的「生成式问答」，改成了「直接对候选答案或视频时间位置打分」，并通过视频缓存和多 Query 联合推理降低时延。它比一般的 Yes/No Decision 模型更值得关注的一点是：把视频时间定位（Temporal Grounding）和视频多选问答（Video QA）统一成同一种候选评分机制。三个贡献：任务统一：用共享 Scoring Head 同

Jev赛道解决的根本矛盾是Agent系统里最高频的负载形态是：一个很长的状态+一批很短的判断（路由、门控、分类、评分、是否升级人工）。这里有两种方法：一套是传统监督分类器。快、便宜、概率可严格校准（Platt/Temperature/Isotonic是成熟方法）。但任务在训练阶段写死，今天训的"是否上涨"，明天不能现场改问"是否有治理风险"，更不能运行时塞入17个新类别。一套是LLMJudge。任务可动态定义。但为了拿到一个几个字节的枚举值，要启动一次完整prefill+逐token自回归decode+

note核心： 从原始视频自动构造时序排序、物体计数、异常定位等可验证任务，再通过 RLVR 提升模型的视频理解能力。VideoSSR 提出，不必依赖昂贵的人工标注或容易带偏见的模型标注，而是直接对原始视频做可控制的扰动，自动生成“答案天然可验证”的训练题，再用强化学习训练多模态大模型的视频理解能力。VideoSSR 最有价值的地方，不是单纯提出三个训练游戏，而是提出了一套数据生产机制。传统范式是：人工理解视频 → 出题 → 标注答案 → 模型学习。VideoSSR 的范式是：视频本身保存答案 →

一、DeepSeek-V4.1-Flash一、DeepSeek-V4.1-FlashDeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression技术报告：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf Hugging Face模型定位：552B MoE，多模态输入，最大 1M context。最

这篇论文证明了"RLCD 模型（Jev）可以当零样本、低成本的 AI 对齐失败检测器"，但代价是必须做好两件事——补齐定义失败的参照上下文、用小样本重新拟合阈值，否则排名好看、实际部署会翻车。不用生成长文本，直接让 Jev 对很多判断问题输出概率，比如 P(jailbreak)=0.93、P(hallucination)=0.12，并测试这种概率能不能直接检测 alignment failureGenerative Judge → Probabilistic Judge，不生成 “Yes, this i

Mamba优化了状态空间的选择性传播，能够根据输入动态调整其参数，从而在不同的序列时间点选择性地传递或遗忘信息文章目录note一、Mamba模型架构二、混元T1推理大模型三、NVIDIA Nemotron 3 UltraReference一、Mamba模型架构Mamba 是一种新兴的序列建模框架，它通过使用选择性状态空间模型（SSM）提供了比传统的Transformer模型更高的计算效率。Mamba的设计允许它在处理长序列时保持线性的扩展性，并大幅提升了处理速度。这一模型特别适用于处理语言、

核心：把 fMRI 脑信号也变成一种“token 模态”，然后和图像、文本一起塞进一个统一的离散扩散模型里，让同一个模型同时做脑→图、脑→文、图→脑、文→脑、脑问答等 7 类任务把脑信号 Token 化，它本质很像 VQ-VAE：encoder 把脑信号编码，再量化到 codebook 里的离散向量，最后还可以 decoder 回原始 fMRI。论文里的 Brain Tokenizer 就是 VQ-VAE 风格结构，包含 encoder、decoder 和离散 codebook。主流VLM的视觉toke

GLM-5.3-Flash模型：320B总参数，19B激活参数。在编码和智能体评估方面，GLM-5.3-Flash 的表现接近 Claude Opus 4.8 的水平。基准上 MVBench 约 77.8，MMVU 约 80.5，属 Flash 级多模态视频理解可用水平，但不支持音频输入GLM-5.3-Flash 在多个方面进行了架构改进。首次引入了混合式架构，结合了稀疏注意力机制和线性注意力机制，从而显著降低了长上下文服务的成本，同时保留了精确的长上下文处理能力。此外，采用了 Manifold-Con

多模态 MoE 模型，主模型参数量为125B，额外配备 51B 的 N-gram Embedding，每 token 激活 6B 参数。 它原生支持 262,144 token 上下文，并可通过 YaRN 扩展至 1M token。Attention：采用 GDN + QSA Hybrid 架构。Gated DeltaNet（GDN）高效压缩历史信息；Qwen Sparse Attention（QSA） 通过压缩式轻量 Indexer 在 micro-block 粒度上筛选重要上下文，显著降低长序列 At

这篇论文的本质贡献是：把“图像=一个点”这个 CLIP 时代隐含假设打破，用 ViT 中间层+文本 cross-attention 让图像也长成一棵层级树，再把图文两棵树分别放进不同曲率的双曲空间，通过可证明唯一的最优中间双曲流形完成几何对齐，从而在分类学开集任务上把层级一致准确率（HCA）拉高近 29 个点。构建视觉树核心是利用 ViT 不同层的 CLS token 作为“多粒度视觉候选特征”，再通过文本层级引导的 Cross-Attention，把它们融合成一组 coarse-to-fine 的视觉

用生成模型主动补齐“没见过的数据分布”：先“猜”未来可能出现的 unseen class → 用扩散模型生成这些类别的伪图片 → 再让这些 synthetic unseen data 参与 CLIP Prompt Learning。它本质上是一个“LLM/VLM + Diffusion 合成 unseen 数据 → 提升 CLIP 开放词汇泛化”的工作，而不是一个新的大模型架构这篇论文的增量不在"用扩散模型造数据"本身，而在先把’OVL 分布估计误差不可界’这件事写成定理，再反推’生成什么数据、怎么对齐

Kimi K3 基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）构建。这两项架构更新，都是为了让信息在更长序列和更深模型中流动得更顺畅。进一步扩大了 Mixture of Experts（MoE）的稀疏度：结合 Stable LatentMoE 框架后，模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化，这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍，能更有效地把算力转化为能力。

DTW（DP-matching）用于计算两个不等长、但变化趋势相关的序列的相似度。论文给出了最优的对齐规则：对称权重 + 斜率约束P=1，让对齐更准，识别错误率降到了原来的2/3针对两个时长不同、采样点数量不一致的语音特征序列，用动态时间规整（DTW）找最优非线性对齐路径，消除语速波动带来的时间轴偏差。创新引入斜率约束（P=1），禁止路径过陡/过缓，避免短语音段错误匹配长语音段，同时采用对称权重设计，确保两个序列的所有特征都被纳入计算，对齐更合理。实验验证该优化后的DTW算法在孤立词识别任务上错误率仅

Video Quality Assessment，视频质量评估。常见输出：质量分数 + 质量问题原因，比如模糊、噪声、压缩块、抖动、曝光差、运动不稳定、构图差等。VQA近几年的发展路线：1、参考论文：FAST-VQA → DOVER → MD-VQA → MaxVQA → LMM-VQA → VQA² → VQAThinker → MDS-VQA2、路线演变：高效打分模型 → 多维质量建模 → 可解释评估 → 大模型/VQA化 → RL增强 → 数据选择优化。文章目录note一、Video Qu

面向视觉理解场景，Seed2.1 Pro 在 CharXiv-RQ、MeasureBench 等多个基准上取得最高分，体现出模型在复杂文档理解、图表读取、数值识别和视觉细节判断上的进一步提升。这类能力可以帮助模型在处理 PDF、报告、图表和多页材料时减少误读，增强对非结构化信息的感知。面向视觉理解场景，Seed2.1 Pro 在 CharXiv-RQ、MeasureBench 等多个基准上取得最高分，体现出模型在复杂文档理解、图表读取、数值识别和视觉细节判断上的进一步提升。这类能力可以帮助模型在处理 PD

1、文主实验用的 base VQA model 是 VisualQuality-R1，一个 VLM/视觉语言模型式的视频质量评估模型；微调方式是 LoRA + reinforcement-learning-to-rank，不是简单的“视频 → MOS 分数”的 MSE 回归。2、他们在主实验中采用 VisualQuality-R1 作为 base VQA model，因为它是强的 VLM setting；failure predictor 也是在这个 base model 上加 LoRA，并用固定 pro

基准内置12种独立任务题型，覆盖基础视觉→时序动态→高阶综合推理全维度：时序行为、运动模式、多目标跨帧追踪、时序先后推理、事件因果推导、长视频摘要、跨模态信息融合、多语言视频理解、细节定位、空间关系推理、抽象剧情理解、多线索综合问答文章目录note一、Video-MME二、Video MME 12类任务体系三、Video MME关键实验结果Reference一、Video-MME论文：Video-MME: The First-Ever Comprehensive Evaluation Be

路线对比：CLIP路线：图片 + 文本→ 学语义DINO路线：只有图片→ 学视觉世界本身模型越大，分类能力越强，但容易出现Dense Feature Collapse（稠密特征退化）问题，局部patch特征开始混。比如CLIP、SigLIP等模型擅长图片xx是什么，但可能不擅长它长什么样、和旁边的像不像等；再比如五官边界模糊等，后者更靠dense featureDINOv3是目前最强的一批纯视觉 Foundation Model，它试图证明：不用文本监督（CLIP），光靠图片自监督学习，也能学出世界

提出的VideoLLaMA 3通过以视觉为中心的训练范式和框架设计，显著提高了图像和视频理解的性能。该模型在大多数图像和视频理解基准测试中表现出色，特别是在图表理解和数学问题上。Any-resolution Vision Tokenization (AVT)：采用AVT技术，动态处理不同分辨率的图像和视频，保留了更多细节痛点：视频数据质量太差，但作者认为视频等于一系列的图片，所以可以先学看图再看视频视觉token太多：作者使用Differential Frame Pruner（DiffFP）保留相互

DeerFlow是一个面向长程任务的 Agent Runtime：规划 → 调度 → 执行 → 观察 → 修正 → 记忆 → 产出单靠模型本身，很难稳定完成长程任务。因为模型没有天然的文件系统、执行环境、长期记忆、任务调度和失败恢复机制。所以 DeerFlow 做的是补齐这些缺失的基础设施。把 LLM 的生成能力，接入了一个可执行、可恢复、可协作、可交付的运行时环境：任务调度器：决定下一步做什么工具系统：提供外部能力沙箱环境：执行代码和文件操作文件系统：保存中间产物和最终产物记忆系统：保存状态

核心：小步、受控、可验证地更新skill这篇论文提出了SKILLOPT，一种用于冻结LLM agent的技能优化的文本空间优化器。通过分离执行任务的模型和编辑技能的优化器，并使用有界的编辑预算、小批量reflection、保留验证门和周期性慢速/元更新，SKILLOPT将技能改进转化为一个可控的学习过程。不是训练模型参数，而是把 Agent 的 Skill 文档当成“可训练参数”，通过执行反馈不断优化这个 Skill，让冻结模型在不微调的情况下变强实验结果表明，SKILLOPT在多个基准测试、目标模型

很多人理解 Agent，还停在“模型 + 工具调用”这一层。但工具调用只是其中一层。真正的 Agent 产品，要有执行环境、上下文、编排、监控、验证和治理。Agent评估要 trace-native。也就是把完整执行轨迹作为评估对象。要记录模型输出、工具调用、工具返回、环境状态变化、上下文快照、错误、重试、恢复动作、token 使用、延迟和成本。然后再判断三件事：结果是否正确，路径是否合理，评估器本身是否可信。落地：谁的执行环境更稳，谁的工具协议更清晰，谁的上下文更不容易漂，谁的 trace 更好用，谁

本文提出了一种以技能为中心的代理框架，通过在统一的生命周期下创建、重用和精炼技能，使代理能够不断提高其任务解决能力。实验结果表明，人类技能可靠地提高了任务准确性，MUSE-Autoskill能够从其自身成功轨迹中自动生成高质量技能，并且生成的技能可以在不同代理之间转移，且损失最小。它把 Skill 当成一个完整生命周期来管理：创建 skill → 存入 skill bank → 检索复用 → 单测评估 → 失败后自动修正 → 继续积累记忆在成功生成 skill 的 35 个任务上，MUSE 自己生成的

SKILLRL：skill是通过语义相似度检索召回，动态注入到prompt中技能蒸馏和递归进化机制：类似hermes agent自进化，失败的轨迹也能总结为skill为后续使用SKILL0总结：In-Context Reinforcement Learning, ICRL：训练 rollout 时提供 structured skill guidance但推理时完全移除 skill，让 RL 优化过程驱动模型从“依赖上下文”变成内化到模型参数Dynamic Curriculum：课程动态学习

LeWorldModel 的训练目标就是：从 raw pixels 学一个不会坍塌的 latent 状态空间，并在这个 latent 空间里学习“当前状态 + 动作 → 下一状态”的动力学模型。稳定训练的trick：高斯正则防坍塌阶段【对 latent embedding 加 Gaussian regularizer，使表示分布保持展开，避免所有图像被编码成同一个向量】在机器人控制、智能体规划里，很多时候不需要生成一张完整未来图片。LeWorldModel 在 latent 空间预测未来状态，所以更轻量

现有 MRAG 框架均采用文档级检索与重排，默认文档内所有内容同等有效，但是检索文档含大量无关、冗余、矛盾噪声，引发 MLLM 幻觉，图像仅小区域感兴趣（ROI）有用，文本仅少量句子相关。所以，搞了个Retrieve–Rerank–Select–Generate四阶段 pipeline，新增片段级筛选模块净化证据，目标是在量化证据的边际效用，从而能够过滤掉通常会损害下游推理的无关、冗余或矛盾噪声多模态RAG去噪：碎片筛选阶段【使用训练完成的轻量学生选择器，对混合候选池中所有条目进行效用打分，按得分从高到低

它要解决的是传统通用记忆系统在不同任务（对话、法律、医疗等）上适配性差、效果不佳的问题。它将记忆系统建模为可进化的Python程序，通过react循环，为每个任务自动优化专属的记忆结构，实验效果优于固定结构。MSTAR：给几个初始 memory 程序 -> 让 Agent 用这个 memory 做任务 -> 记录成功和失败案例 -> 让 Coding Agent 改代码 -> 编译 + smoke test + 限制检查。然后把新程序加入候选池，继续迭代。不是给所有 Agent 都套一个固定记忆模块，而

claude code确实在工程层面做到很好（T-T 感觉我和模型越来越远了），比如子agent的设计、分为同步/异步任务等Agent = 主循环 + 工具体系 + 权限体系 + 状态管理 + 子任务编排 + UI/体验 + 工程优化Sub-Agent 编排 = Fork 继承上下文 + prompt cache 优化 + Resume 状态恢复 + 后台任务管理 + Agent 间通信 + 默认隔离。它把多个 Agent 组织成一个可控的并发运行时五个子agent：GeneralPurpose 负责

Long-horizon task需要memory，但一直觉得memory是个很工程的问题agent记忆的三大门派：数据库派、文件派、模型派openclaw：读取记忆是 Function Call，写入记忆是 Hook 自动化机制，不是Function Call调用的 Tool。这种设计的好处是：写入记忆是系统自动管理的，不需要显式决定"现在要保存记忆"，而是在会话切换时自动保存上下文。具体检索完memory后考虑：冲突：当检测出两个记忆相互矛盾的时候，该怎么解决？随时间的衰减：旧记忆权重怎么降？