- 博客(1514)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 【LLM】多模态LLM综述MultiModal Large Language Models
note（一）现有的 MM-LLM 的趋势：(1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）；(2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）；(3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
2024-06-02 13:05:46
5614
8
原创 【Agent】DeepSeek Super-agent：迈向主动、持续运行的多Agent系统
DeepSeek Super-agent 的核心不是让单个 Agent 更聪明，而是让 Agent 系统更自主。它通过 Router + Worker + Event-Driven + Async ReAct + Memory + Watchdog，将传统的被动式 Agent 转变为能够主动接收任务、并行执行、管理上下文、持续运行的智能体系统。研究背景：传统 Agent 依赖用户主动发起任务，需要人工管理多个 Session、跟进执行进度，难以实现长期自主工作。DeepSeek 提出 Super-agen
2026-11-03 01:36:18
685
原创 【RSI】RSIHub: A Composable Framework for Agent-Evolution Methods
研究背景：现有 Agent 自进化方法（AHE、GEPA、A-Evolve、Hyperagents）缺乏统一的执行、评测与组合框架，难以公平比较和复用。核心方法：统一进化闭环：Select → Rollout → Analyze → Mutate → Guardrail → Evaluate → Absorb，通过任务执行、失败分析、候选修改、独立评测和版本吸收，实现 Agent 持续迭代。可组合进化策略：集成四种已有方法，支持优化 Prompt、Skills、Harness 等 Agent 组件，而
2026-11-01 17:25:58
406
原创 【VLM】AdaCodec:用“预测视觉码”替代逐帧RGB输入
GOP = Group of Pictures（图像组），指视频中由一个 I-frame（关键参考帧） 和后续若干 P-frames（预测帧） 组成的一组连续帧研究动机：传统视频 MLLM 将每帧独立编码为视觉 Token，相邻帧大量内容重复，造成 Token 冗余、推理延迟高。作者借鉴视频编码中的 I/P 帧预测机制，只完整编码关键帧，其余帧仅保留变化信息。核心方法：Adaptive GOP：根据相邻帧运动补偿后的预测误差（pcost），动态划分视频片段；误差过大则插入新的 I-frame。I-f
2026-10-31 23:59:15
133
原创 【VLM】VideoChat-A1:用镜头链推理CoS思考长视频
VideoChat-A1 不追求把整段长视频塞进模型，而是把视频看成若干**镜头（shot）**，围绕用户问题**逐步挑出相关镜头 → 在镜头内继续切细 → 看证据够不够、不够就再深挖**。这种“选择—细分—反思”的闭环叫 **Chain-of-Shot（CoS，镜头链推理）**。它的核心卖点是：**用更少的输入帧、更短的平均推理时间，让 7B/8B 级模型在多个长视频问答基准上接近甚至超过闭源大模型。**- 研究动机：传统视频问答依赖均匀抽帧或一次性检索，容易遗漏关键事件、引入冗余信息。作者提出 Ch
2026-10-31 21:09:01
390
原创 【Infra】deepseek推理加速框架DeepInfer
DeepSeek 的完整在线系统采用 Vision Encoder / Prefill / Decode 分离部署（EPD Disaggregation）：请求 → Vision Encoder（按需）→ Prefill → KV Cache 传递 → Decode → 输出。不同阶段独立扩缩容和负载均衡，从而分别优化首 Token 延迟（TTFT）与生成速度（TBT）。文章目录note一、研究动机：推理瓶颈不只是算力二、核心技术：五个优化方向三、生产级推理架构四、技术评价：核心是系统级协同优化
2026-10-25 20:48:24
127
原创 【Jev】Qwen-Audio-Jev音频分类模型
Qwen-Audio-Jev 本质是把生成式 Audio LLM 改造成 Question-conditioned 判别模型。分类头、回归头并不新颖，真正有价值的是统一 CHOICE / NOUL / SCORE 三类输出接口，并结合异构任务监督和概率校准训练。相比让 LLM 输出 0.83 这样的文本，直接预测概率分布更适合高吞吐量分类、音频审核、说话人验证、质量评估等业务。SFT 阶段： 联合训练音频编码器、LLM Backbone 和 Decision Head，按任务类型采用不同 Loss：CH
2026-10-25 20:38:37
235
原创 【RSI】Harness2 : Recursive Agent Harnessing for an Open World
harness的8个组件：System Prompt（定义 Agent 总体角色与行为原则）、Guardrails（规定必须遵守的约束与检查规则）、Memory（保存可跨步骤/任务复用的信息）、Skills（提供解决特定任务的 SOP/经验）、Tool Guidance（告诉 Agent 各工具何时以及如何使用）、Scripts（提供可直接执行的确定性程序）、Subagents（通过子 Agent 实现任务分工与上下文隔离）、Plugins（在 Agent/Tool Loop 特定节点自动介入的中间件逻辑）
2026-10-25 16:22:03
424
原创 【RSI】Recursive Self-Improvement through Multi-Agent Self-Supervision
MASS 两阶段：阶段一：Workflow Evolution，优化的是一段描述 Multi-Agent 组织方式的 Prompt / JSON 配置，不训练模型。阶段二：Trajectory SFT，把最优 Workflow 执行产生的 Orchestrator + Subagent 多轮工具调用轨迹转成 SFT 数据，训练模型权重。注意MASS 第二阶段只训练一个共享的 LLM，而不是分别训练 Orchestrator 和 Subagent 两个模型。文章目录note一、研究动机：同质化自反馈
2026-10-24 19:20:06
425
原创 【VideoLLM】Agentic Video Understanding视频理解综述
这篇综述的核心贡献不是某个模型，而是给出了第一套理解"视频智能体"的语法：用"挑战驱动"的分类法替代"模块驱动"的分类法，用"自适应证据控制"统一了记忆、主动取证、状态追踪与多模态协作，并明确指出该领域正从"prompt 驱动的工具组装"走向"学习决策"。评估不能只看 final accuracy，还应测：证据使用质量、响应时机、工具决策、成本、交互可靠性。多数现有基准仍以 final-task success 为主，这是领域目前最明显的缺口。研究动机： 传统视频理解通常采用固定抽帧 + VLM 单次推
2026-10-24 15:52:10
365
原创 【全模态】结构化解析模型Youtu-Parsing-Omni-5B
全模态结构化解析模型Youtu-Parsing-Omni-5B，一个5B模型把文档、自然图像、音频、视频统一解析成 带空间/时间锚点的结构化JSON记录 ，定位是给LLM agent提供“感知层”，让LLM读取、定位、引用多模态证据，是个基础设施。这是一个趋势，给Agent做基础设施。其真正主张是“解析即感知接口”，多模态输入一次性转成带锚点的文本记录，agent不需要反复重编码视觉/音频token，且结论可通过bbox/时间戳回溯。这与RAG和computer-use agent的趋势直接对齐，但是，局限
2026-10-18 17:01:05
197
原创 【Jev】VideoJev: System One Model for Video Understanding and Interaction
VideoJev：Qwen3.5 + Scoring Head + 两阶段多任务 SFT + 视频 KV Cache 复用VideoJev 把传统视频大模型的「生成式问答」，改成了「直接对候选答案或视频时间位置打分」，并通过视频缓存和多 Query 联合推理降低时延。它比一般的 Yes/No Decision 模型更值得关注的一点是：把视频时间定位（Temporal Grounding）和视频多选问答（Video QA）统一成同一种候选评分机制。三个贡献：任务统一：用共享 Scoring Head 同
2026-10-18 00:02:53
231
原创 【Jev】多模态Jev决策模型
Jev赛道解决的根本矛盾是Agent系统里最高频的负载形态是：一个很长的状态+一批很短的判断（路由、门控、分类、评分、是否升级人工）。这里有两种方法：一套是传统监督分类器。快、便宜、概率可严格校准（Platt/Temperature/Isotonic是成熟方法）。但任务在训练阶段写死，今天训的"是否上涨"，明天不能现场改问"是否有治理风险"，更不能运行时塞入17个新类别。一套是LLMJudge。任务可动态定义。但为了拿到一个几个字节的枚举值，要启动一次完整prefill+逐token自回归decode+
2026-10-17 17:29:21
249
原创 【ECCV2026】QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding
核心： 根据用户 Query 的相关性和视频内容变化，动态选择最有信息量的帧，而不是均匀抽帧。QCA 的核心思想如下，它并不是从底层提升模型理解视频的能力，而是提升模型“获得关键证据”的效率。：用查询相关性找到答案可能出现的时间区域；用内容偏差发现独特、变化丰富且值得观察的时间段；用动态帧预算和段内多样性选择，在有限帧数下覆盖更多有效证据。当任务需要复杂时序关系、动作连续性和事件级因果理解时，相关性加特征差异只是帧选择的第一层，并不等于真正的时序推理。两阶段选帧：阶段一：决定每个时间段抽多少帧
2026-10-16 20:36:39
358
原创 【CVPR2026】VideoSSR: Video Self-Supervised Reinforcement Learning
note核心： 从原始视频自动构造时序排序、物体计数、异常定位等可验证任务，再通过 RLVR 提升模型的视频理解能力。VideoSSR 提出，不必依赖昂贵的人工标注或容易带偏见的模型标注，而是直接对原始视频做可控制的扰动，自动生成“答案天然可验证”的训练题，再用强化学习训练多模态大模型的视频理解能力。VideoSSR 最有价值的地方，不是单纯提出三个训练游戏，而是提出了一套数据生产机制。传统范式是：人工理解视频 → 出题 → 标注答案 → 模型学习。VideoSSR 的范式是：视频本身保存答案 →
2026-10-11 21:02:48
328
原创 【OPD】Rethinking On-Policy Distillation: Phenomenology, Mechanism, and Recipe
动机：OPD 已成为后训练常用方法，但一个强 teacher 为什么有时能提升 student、有时完全无效，过去解释并不清楚。本文系统研究 OPD 的成功条件和 token-level 机制。发现：OPD 成功需要两个条件：① teacher 与 student 的 thinking pattern 兼容；② teacher 必须提供 student 训练分布中真正没见过的能力。仅仅 teacher 分数更高还不够。论文通过 weak-to-strong reverse distillation 发现，
2026-10-07 15:02:31
300
原创 【VLM】DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
一、DeepSeek-V4.1-Flash一、DeepSeek-V4.1-FlashDeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression技术报告：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf Hugging Face模型定位：552B MoE，多模态输入，最大 1M context。最
2026-10-07 14:28:25
512
原创 【Video Agent】LongVT: Incentivizing “Thinking with Long Videos” via Native Tool Calling
note让大模型学会"主动回看"长视频为什么必须用 IoU 而不是 Recall？ Recall 可靠"把窗口拉得巨大"刷高，IoU 的分母会惩罚过宽预测。这是全文最漂亮的一个奖励设计：把"答对"和"证据位置"绑定——只奖答案会诱导语言先验，只奖 IoU 会找到相关片段却答不对。训练pipeline：SFT 教动作 → RL 学决策与泛化 → RFT 巩固成功行为构建 VideoSIAH；247.9K tool-SFT → 1.6K agentic RL → 15.4K RFT，并联合 answe
2026-10-07 11:32:59
325
原创 【Video】LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding
动机：长视频不能全量送进 MLLM，uniform/exhaustive search 成本高、冗余多。目标是学会：当前证据够不够；不够的话下一步该看哪一段。核心动作：预先把视频构造成 High / Medium / Low 三层 hierarchical captions。推理时模型先只看 High-level captions；若证据不足，就根据问题 + 当前已有证据选择最相关的时间段，调用工具展开该段的 Medium-level captions；仍不足再继续下钻到 Low-level / 具体 c
2026-10-07 01:22:47
339
原创 【Vid】Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
核心结论： VITAL 让多模态大模型在回答视频问题前，先判断“要不要回看、回看哪一段”，再通过视频裁剪工具获取关键时间段的密集帧，形成“文本推理 + 视觉证据”的多模态思维链。该方法主要解决长视频理解中的跨模态交互不足和幻觉，在 11 个视频理解基准上取得领先，尤其擅长长视频问答和时间定位。VITAL 的本质，是教会多模态大模型在视频推理中“不懂就回看”：模型先形成时间假设，再调用视频裁剪工具密集观察关键片段，最后依据真实画面作答；通过 SFT 冷启动与 DGRPO 强化学习，将时间定位、视频问答和
2026-10-07 00:20:19
630
原创 【Agent】A harness for every task: dynamic workflows in Claude Code
一、dynamic workflows多智能体为什么要多智能体？单上下文窗口的三大失败模式：Agentic laziness：安全审查 50 项，做到 35 项就宣布"完成"自我偏好偏差：让 Claude 给自己的结果打分，它总会手下留情目标漂移：长任务反复压缩上下文后，"别做 X"这类约束悄悄丢失在这里插入图片描述Anthropic给出六种可组合的模式：分类路由、扇出-综合、对抗验证（每个干活的智能体配一个唱反调的）、生成-过滤、锦标赛排序、循环直到收敛。Bun 从 Zig 到 Rust
2026-10-06 20:06:02
327
原创 【Agent】自进化Dream-RSI
真实环境先探索出很多历史轨迹/分支 → 用这些历史树做低成本 replay → 比较“不同搜索策略”怎么走更有效 → 更新上层探索 policy → 再回到真实环境探索文章目录note一、Dream-RSI: Recursive Self-Improvement through Evolving WorldsReference一、Dream-RSI: Recursive Self-Improvement through Evolving WorldsDream-RSI: Recursive Se
2026-10-06 18:43:14
319
原创 【DiT】从常微分方程ODE到Flow Matching
常微分方程（Ordinary Differential Equation）的【常】，不是指常数，是指【未知函数只依赖一个自变量】，比如y=y(x)y=y(x)只依赖 xx ，那么dydx=f(x,y)dxdy =f(x,y)就是ODE偏微分方程PED：如果未知函数依赖多个自变量，就会出现偏导数。例如u=u(x,t)u=u(x,t)既依赖空间 xx ，又依赖时间 tt 。那么可能出现：∂u∂t=α∂2u∂x2
2026-10-06 15:32:41
532
原创 【VLA】Qwen-VLA:VLM+DiT统一多模态理解与连续机器人动作生成
note动机： 传统具身智能模型通常针对单一任务/机器人分别训练，例如机械臂操作、导航、轨迹预测各用一套模型，跨任务、跨环境、跨本体泛化差。Qwen-VLA 希望把这些任务统一成一个“视觉+语言→连续动作/轨迹”的通用模型。核心方法： 以 Qwen3.5-4B VLM 为认知骨干，负责视觉理解、空间推理和指令理解；外接约 1.15B DiT flow-matching action decoder，生成连续机器人动作。通过 embodiment-aware prompt 告诉模型当前机器人类型、单/双臂
2026-10-05 23:59:52
423
2
原创 【WM】OSCAR: Omni-Embodiment Action-Conditioned World Model for Robotics
输入 = 当前场景首帧图片 + 未来一段机器人的 2D 运动学骨架序列；输出 = 按这段骨架动作发展出来的未来机器人视频。OSCAR 不是又一款追求“画面像不像”的视频生成器，而是把动作条件视频预测改造为策略筛选器：给定一个真实首帧和给定策略的动作轨迹，模型自回归生成未来视频，再由 GPT-5 判读成功率，以此预测 RoboArena 真实排名。它的核心设计是 2D 运动学骨架：把不同机械臂或人手的关节链投影成无纹理线条，使条件既显式地约束“何时、在哪里动”，又不必把模型绑死在特定机器人外观上。论文最强
2026-10-05 22:42:35
513
原创 【VLM】Qwen3.8-Omni-Flash论文解读
Thinker = 稀疏 MoE 语言主干（来自 Qwen3.8-Next）+ GDN 递归层 + 交错 Attention + QSA 稀疏注意力 + 三路模态适配器。它是唯一持有 1M 上下文的模块，负责理解、长链推理、工具调用决策，并输出语义状态给 Talker。Talker = 轻量流式解码器，只做“语义 → 语音流”。它不参与推理、不持有长上下文，换来的是边想边说的低首包延迟。这是“推理深度”与“说话流畅”解耦的关键。Qwen3.8-Omni-Flash 不是“又一个新的多模态模型”，而是
2026-10-05 15:58:07
335
原创 Jev：Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
这篇论文证明了"RLCD 模型（Jev）可以当零样本、低成本的 AI 对齐失败检测器"，但代价是必须做好两件事——补齐定义失败的参照上下文、用小样本重新拟合阈值，否则排名好看、实际部署会翻车。不用生成长文本，直接让 Jev 对很多判断问题输出概率，比如 P(jailbreak)=0.93、P(hallucination)=0.12，并测试这种概率能不能直接检测 alignment failureGenerative Judge → Probabilistic Judge，不生成 “Yes, this i
2026-10-01 14:31:23
328
1
原创 【Jev】Jev模型和Laya架构
在无法解决确定性的场景面前：快没有太大的意义，省钱也没太大的意义，jev只是一个零样本条件下的排序/分类模型，还是概率【不确定性】。本质上还是猜【单单地猜的更快、更准些】，0-1而非 0/1【不保真】TypeSafe AI 也在 Jev 1.13 的能力说明中提醒，模型在算术、计数、日期、字面匹配、无关信息干扰、对抗性输入和矛盾条件等任务上表现并不稳定。文章目录note一、相关开源项目1、Laya2、awesome-jev-gallery二、相关例子三、相关论文A、生态与全景观察（1 篇）
2026-09-27 17:43:34
324
原创 【AI Infra】最近的一些AI Infra工作
第一档：KVSET —— 学 KV Cache 的 capacity planning / cache theoryOasisKV —— 学 HBM → Host → Remote 的 KV memory hierarchy + prefetchSYMPHONY —— 学 Compute-Memory DisaggregationSmartGen —— 学 PD Disaggregation 下 KV 网络传输CacheSlide —— 学 Agent/RAG 场景的 General KV Reu
2026-09-24 22:09:46
295
原创 【IJCAI 2026】Dual-Topology Learning with Adaptive Anchors for Multi-View Clustering
传统多视图聚类虽然用 Anchor 降低了计算量，但通常只学“样本和 Anchor 的关系”，而且还经常强行让 Anchor 彼此正交，容易把真实数据结构搞坏。DOTA 的核心就是多学一层：除了 Sample-Anchor，还显式学习 Anchor-Anchor 的关系，尤其用 S^S^TS^ S^ T 看“两个 Anchor 是否共享很多相同样本”，来判断它们是不是应该更相似。最终就是把“样本→Anchor”升级成“样本→Anchor→Anchor”的双拓扑，再配合不同
2026-09-23 13:03:54
122
1
原创 【Mamba】Nemotron 3 Ultra、混元Transformer-Mamba
Mamba优化了状态空间的选择性传播，能够根据输入动态调整其参数，从而在不同的序列时间点选择性地传递或遗忘信息文章目录note一、Mamba模型架构二、混元T1推理大模型三、NVIDIA Nemotron 3 UltraReference一、Mamba模型架构Mamba 是一种新兴的序列建模框架，它通过使用选择性状态空间模型（SSM）提供了比传统的Transformer模型更高的计算效率。Mamba的设计允许它在处理长序列时保持线性的扩展性，并大幅提升了处理速度。这一模型特别适用于处理语言、
2026-09-19 17:20:06
197
原创 【ICML 2026】脑科学Mind-Omni
核心：把 fMRI 脑信号也变成一种“token 模态”，然后和图像、文本一起塞进一个统一的离散扩散模型里，让同一个模型同时做脑→图、脑→文、图→脑、文→脑、脑问答等 7 类任务把脑信号 Token 化，它本质很像 VQ-VAE：encoder 把脑信号编码，再量化到 codebook 里的离散向量，最后还可以 decoder 回原始 fMRI。论文里的 Brain Tokenizer 就是 VQ-VAE 风格结构，包含 encoder、decoder 和离散 codebook。主流VLM的视觉toke
2026-09-19 16:41:31
131
原创 【LLM】Looped Transformers
循环 Transformer 本质上是一种架构上的微调，核心思路是让中间表示多次通过同一批 Transformer 块，而不是只过一次。相比单纯堆更多的块，这里的「诀窍」在于：在这些遍历过程中，权重是保持不变的。文章目录note一、GPT-6 Astra, Looped Transformers二、Nanbeige4.2-3B模型三、隐藏思维链Reference一、GPT-6 Astra, Looped Transformers1、GPT-6 Astra, Looped Transforme
2026-09-18 23:07:18
221
原创 【VLM】2026年文档解析技术发展和趋势
文档解析三个特征：视觉token极压缩："光学压缩"成了新卖点推理加速成为显学：多token预测+投机解码被卷到这个领域训练全面转向"可验证奖励的强化学习"（RLVR）LightOnOCR和olmOCR用unit-test式评估+GRPO；Infinity-Parser2一次co-train八个任务；Jina-OCR-v1用五维乘积奖励（内容、结构、单元测试、重复、格式）给部分分，并特意合成公式/表格密集页喂奖励。三个判断：下一个瓶颈不在"看"，在"结构推理"从"全局压token"转向"按
2026-09-18 22:55:25
179
原创 【RSI】The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement
The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement链接：https://arxiv.org/abs/2609.11873Motivation：当下很多Agent工作宣称实现AI自我改进，但大多只是上下文内微调、固定流程试错，没有统一标准区分“表层自优化”和真正递归自我改进（RSI）。缺乏可量化的分层框架，用来评估AI自主迭代能力。方法与问题：提出5级RSI能力栈：L1执行自动化、L2策略搜索、L3经验自动化、
2026-09-18 22:38:05
288
原创 【VLM】Qwen3.8-Omni-Flash长音视频理解Agentic模型
Qwen3.8-Omni-Flash1、向 Qwen3.8-Omni-Flash 提出了一项任务：在 12 小时内提升 Qwen2.5-Omni-3B 的四川话识别能力，并交付可用模型。它自主选定 WenetSpeech-Chuan 评测集、固定评测标准并完成基线测试，随后直接听取语音样本，结合识别结果诊断问题，构建针对性的训练数据。在连续 4 轮实验中，Agent 累计构建了 3,413 条训练数据，并根据评测反馈调整方案、保留有效改进、回退无效尝试。最终，Qwen2.5-Omni-3B 在同一评测集上
2026-09-18 22:31:49
389
原创 【VideoLLM】LensWalk: Agentic Video Understanding by Planning How You See in Videos
如果做长视频/长文档/长音频理解，值得抄的是这个骨架——"粗扫定位 → 聚焦取证 → 拼接验证"三件套 + 带时间锚的证据 + 全局实体表，并且把"看多少、看多细"作为可学习/可调度的参数暴露给推理器，而不是埋在预处理里。LensWalk = LLM Planner + VLM Observer + 三种视频观察工具 + 时间戳/实体 Memory。文章目录note一、研究动机：视频理解的核心矛盾是"推理"与"感知"脱节二、论文核心：让 LLM 自己决定"看哪儿、看多密"2.1 整体架构：Rea
2026-09-13 16:57:06
273
原创 【VideoLLM】Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning
总结：让 7B 视频大模型像侦探一样，在一个共享上下文里反复调用"视频裁剪"工具去主动找线索、看细节、自己决定何时收手，并用注意力解耦 + 轨迹奖励两项技术让这个多轮过程训得动、停得住。MLVU 72.1%、Video-Holmes 46.5%，均为 7B 量级 SOTA。Video-o3 把"主动找证据"这件事完整闭环了：范式上用共享上下文多轮工具调用替代解耦迭代（换来了效率与联合推理），训练上用注意力 mask 解决异质任务干扰、用轨迹奖励解决"准确定位 + 及时终止"这个 RL 中难以用语言描述的策
2026-09-13 11:15:50
314
原创 【VLM】InternVL3.5模型
InternVL3.5 用 Cascade RL 把"强化学习提推理"的性价比拉高了一档，用 ViR+DvD 把"高分辨率多模态"的推理成本砍到 1/4，同时把触角伸到 GUI、具身、SVG 等智能体能力上——是目前开源 MLLM 里通用能力最接近顶级商业模型的一个系列，但在幻觉抑制与部分理解类任务上仍有明确的改进空间。文章目录note一、研究动机：开源多模型的两道坎二、论文核心：三个创新点1. Cascade RL（级联强化学习）—— 核心贡献2. ViR + ViCO（视觉分辨率路由）——
2026-09-09 13:31:01
279
原创 【Unified VLM】InternVL-U: Democratizing Unified Multimodal Models
概括：用 4B 参数（2B MLLM + 1.7B 生成头 + 0.3B ViT）的统一模型，在生成/编辑上打平或超过 7B+7B 的 BAGEL、逼近 20B 级专用生成模型，同时保住 InternVL3.5 的理解底子——靠的是"解耦的架构接口"+“高语义密度数据合成”+"推理链（CoT）对齐意图"三板斧。Flow Matching 生成时依赖的 high-level semantic context，不再来自另一套独立的 text encoder / pipeline，而是来自统一 MLLM bac
2026-09-09 13:17:39
387
Python思维导图.rar
2020-05-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人