EDPJ-优快云博客

DLoop 提出循环式推测解码：draft 模型置信度足够高时，连续执行多轮 drafting，再由 target 模型一次性验证累积 token；配合 loop-aware training，让 draft 模型适应自身 hidden states 继续预测。无需改结构、保持无损，在 EAGLE-3、DSpark 等上提速 5%–41%，接受长度提升 12%–102%。

2026-10-16 10:20:22 299

原创（2026|Cornell & IBM，共享 KV，首轮建记忆后续用记忆，共享记忆省内存提质量）LPT/H-LPT：共享记忆在循环 Transformer 中的有效性

在 Looped Transformer 中，让第一次递归写入一份共享 KV Cache，后续递归只读取这份共享记忆 + 自己的短滑动窗口，不仅大幅省内存，而且不降质量，反而提升质量。

2026-10-13 18:17:26 321

原创 Looped Transformer 最新进展：从循环 MoE、缩放定律到优化器与扩散生成

Looped Transformer 正在从 “重复堆叠共享块” 走向循环 + 稀疏 MoE + 缩放定律 + 优化设计的系统化阶段。核心思想是：不增加参数，用更多计算换更强能力。本文梳理四篇近期工作：Foil、Loop Scaling Laws、OperLoop、Looped-DiT。

2026-10-11 18:01:07 305

原创（2017|ICLR|Google Brain，主网络与超网络联合训练，静态/动态超网络，LSTM，RNN）超网络

论文提出 hypernetwork 框架，通过端到端训练生成主网络权重。静态超网络可在卷积网络上大幅减少参数量，动态超网络可为循环网络提供时间依赖的权重调整策略。实验表明，超网络在多个任务上达到或超越传统模型，特别是 HyperLSTM 挑战了循环网络硬共享权重的范式，为设计更灵活的序列模型提供了新思路。

2026-10-07 11:32:40 416

原创（2026|清华 & 微软，专家空间探索，路由扰动，自适应噪声，锚定专家采样，Rollout 路由回放）ESRL：在 MoE 强化学习中的专家空间探索

ESRL 把 MoE 中原本固定的专家路由，从 “架构组件” 变成了 RL 的探索空间：通过锚定高置信专家、自适应扰动候选专家、并在训练时回放（replay）rollout 路由，让模型在稀疏计算路径层面获得额外多样性，从而提升数学、科学和代码任务表现。

2026-10-07 11:32:13 402

原创（2026|斯坦福，MoE 比 Dense 更怕重复数据，退化程度主要由总参数 / 稀疏度决定，正则有效）数据稀缺与模型稀疏：MoE 对重复数据过拟合

数据稀缺时代，MoE 不是“免费午餐”。它虽然计算高效，但在重复数据面前比 Dense 更脆弱；真正决定退化程度的是总参数规模，而 Dropout / masking 类正则化是目前最值得尝试的缓解方向。

2026-09-17 15:14:51 337

原创（2026|清华，逼近-估计-计算的权衡，Router，门控与分配区域的几何对齐，稀疏 MoE 的逼近能力，共享专家）对 MoE 的统计学理解

本文把 MoE 视为局部聚合：输入依赖路由使专家组合随x变化，稀疏 Top-K 只激活少数专家以控制每输入计算；此外，将误差拆为近似、专家学习与路由估计，并表明共享专家提取公共结构，让路由专家只学残差，重塑近似-估计-计算权衡。

2026-09-16 16:36:01 300

原创（2026|MirroS，可执行世界表示/EWR，Agentic Discovery Loop，EWR 为 VLM 提供物理监督）代码作为世界：用于物理推理的 EWR 的 Agent 发现

Code-as-World 的核心洞见在于：将物理世界的机制 "写" 成可执行代码，让 Agent 通过 "提出-验证-修订" 的科学发现循环，从观察中自动恢复这些机制，再用这些机制去训练和增强模型的实际推理能力。

2026-09-16 16:35:49 354

原创 IEEE Transactions on Industrial Informatics (TII) 投稿流程

本文系统整理向《IEEE Transactions on Industrial Informatics》（TII）投稿的完整流程与规范，涵盖前期准备、论文格式、补充材料及投稿各阶段要点，帮助作者顺利完成投稿并避免常见拒稿问题。

2026-09-08 14:39:42 361

原创（2026|IPI|我的论文投稿中，PSP 超轻量采样算法，轻量化架构探索/早融合+头压缩）LUMIN：面向工业异常检测的轻量级通用制造检测网络

本文聚焦工业部署中的采样效率与推理优化，提出两项核心方法：PSP，一种基于 18 维像素元数据与 5 类互补视觉插件的四阶段自适应记忆库采样流水线；以及两项工程优化策略——记忆库并行相似度计算和面向大规模评估的分层像素采样算法。

2026-09-07 10:06:20 414

原创（2022|CVPR|UT & Amazon，局部特征聚合，贪婪核心集采样，记忆库压缩）PatchCore：工业异常检测中的全面 Recall 方法

本文提出了 PatchCore，一种用于冷启动工业异常检测的新方法。通过构建一个由局部感知的中间层 patch 特征组成的记忆库，并采用贪婪核心集进行高效子采样，PatchCore 在异常检测和定位两方面都达到了 SOTA 性能。

2026-09-05 15:07:04 386

原创（2023|CVPR|AWS AI Lab，组合式提示集成，多尺度聚合，记忆库，滑动窗）WinCLIP：零样本/少样本异常分类与分割

本文提出了 WinCLIP 和 WinCLIP+，分别用于零样本和少正常样本的异常分类与分割。通过组合式提示集成和基于窗口的多尺度特征提取，WinCLIP 有效利用了 CLIP 中蕴含的语言知识；WinCLIP+ 进一步融合了正常参考图像的视觉信息。

2026-09-05 15:07:01 230

原创（2024|ICLR|浙大 & SMU，对象无关提示设计，可学习文本 token，对角显著注意图）AnomalyCLIP：用于零样本异常检测的无对象依赖提示学习

本文提出 AnomalyCLIP 来改善 CLIP 在零样本异常检测上的弱泛化性能。引入了对象无关提示学习来学习通用异常/正常文本提示，以实现对不同前景物体图像数据集的泛化 ZSAD。

2026-09-05 15:06:57 321

原创（2026|CVPR|安大，可学习正常/异常 token，空间感知交叉注意力）VisualAD：基于 ViT 的语言无关零样本异常检测

VisualAD 提出了一种纯视觉的零样本异常检测方法，通过在冻结的 ViT 中插入两个可学习全局 token（正常与异常），并利用空间交叉注意力和自对齐函数以空间证据为基础。

2026-09-05 15:06:53 338

原创（2023|NIPS Workshop|微软，SparseMixer，MoE，路由梯度的中点法二阶近似，Switch Transformer）用于 MoE 训练的稀疏后向传播

本文提出 SparseMixer，通过数值 ODE 框架（中点法）为 MoE 路由梯度提供稀疏且高精度（二阶）的近似，避免了稠密计算。

2026-09-04 15:54:42 358

原创（2026|CVPR VGI Workshop| 众多大牛）视觉通用智能：白皮书

本文汇集了来自多领域学者的观点，共同探讨一个核心问题：从视觉经验中涌现的智能，能否成为通向通用人工智能（AGI）的路径？本文称这一研究方向为视觉通用智能。结论是开放而谦逊的：VGI 不应被过早地定义为某一种模型或某一种能力。它应被理解为一种更广泛的智能——从视觉经验中获取知识、发现并维护世界结构、想象并评估可能方案、适应新观察、并将视觉知识用于预测、发现和行动。

2026-09-02 14:28:50 415

原创（2023|NIPS|Microsoft，ReinMax，无偏估计与二阶近似，基线，温度缩放）连接离散与反向传播：直通估计及其超越

本文首次从数值 ODE 角度统一解释了 Straight-Through 类估计器，将 ST 定位为一阶近似；提出了 ReinMax，利用 Heun 方法达到二阶精度，且无需二阶导数，计算开销可忽略。在多个基准上一致超越 SOTA，并且可作为现成模块替换现有方法。

2026-09-02 14:28:45 353

原创（2026|复旦 & LIGHTSPEED，DiT，流匹配，per-action 路由，Block-Cycle 控制，LASI）GameWAM：一款用于电子游戏的世界动作模型

本文提出了 GameWAM，首个面向原生闭环游戏和 GUI 控制的 World-Action Model。GameWAM通过并行的 Video DiT 和 Action DiT、Block-Causal 注意力、联合 Flow Matching，以及游戏/GUI 模式路由，实现了对未来视觉观测和可执行键鼠动作的联合建模。

2026-09-01 11:32:30 311

原创（2026|西湖大学 & NTU，CWM，proxy 视频模型，视频生成模型）代码世界模型：Coding Agent 作为世界大脑

Code World Model 首次将代码Agent的逻辑推理能力与视频生成模型的视觉表现力深度融合，为构建可推理、可持久化、高保真的开放世界模型开辟了新路径。它的成功验证了 “符号+连接” 混合范式的巨大潜力。

2026-09-01 11:32:16 334

原创（2024|DeepSeek & 北大，Loss-Free Balancing，每专家偏置，QB）MoE 的无辅助损失负载均衡策略

本文提出了 Loss-Free Balancing，一种无需辅助损失的新型 MoE 负载均衡方法。该方法通过动态调整专家维度的偏置来影响路由决策，既不引入干扰梯度，也不破坏因果约束，优于传统辅助损失控制方法。

2026-08-29 15:06:32 365

原创（2024|ACL|DeepSeek & 北大，MoE，细粒度专家分割，共享专家隔离）DeepSeekMoE：迈向极致专家专精的 MoE 语言模型

Top-K 路由带来了两个核心问题：知识混合和知识冗余。这两个问题共同限制了专家的专精，进而影响了 MoE 模型的上限性能。为此，本文提出了 DeepSeekMoE 架构，旨在通过两种创新策略实现极致的专家专精：细粒度专家分割，共享专家隔离。

2026-08-29 15:05:51 414

原创（2024|Mixtral AI，稀疏 MoE）Mixtral of Experts

Mixtral 8x7B 证明了稀疏 MoE 架构在 LLM 中的巨大潜力——以极低的推理成本获得超越密集大模型的效果。其开源性质将进一步推动社区在 MoE 训练、推理优化、负载均衡等方面的研究。

2026-08-27 14:12:40 360

原创（2026|NVIDIA，大 Batch 预训练，MoE，KL-SOAP）SOAP、Muon 等：推动 LLM 预训练规模

高阶优化器通过张量级别的预处理来逼近二阶信息，理论上能走更大步长、更快收敛。然而，它们的计算开销、数值稳定性、分布式实现复杂性，一直阻碍其在千亿级模型上落地。本文系统性地解决了这些问题，并在数万亿 token 的预训练任务中验证了 SOAP 和 Muon 的优越性。

2026-08-27 14:08:29 342

原创（2026|港科大 & 浙大，LLM，多步骤流式推理，推理步骤早期可靠后期退化）StreamMA：多 Agent 推理中的流式通信

StreamMA 是一个用于 LLM 推理的推理步骤级流式多 Agent 系统，用即时的逐步骤转发取代了主流的 “生成再传递” 范式。核心发现反直觉：流式传输降低了延迟并提升了有效性，原因在于多步 LLM 推理的非均匀质量结构使得上下文到达的时机比上下文到达的数量更为重要。

2026-06-15 20:31:43 483

原创（2026|中科院自动化所）LLM 的 Agentic 环境工程：环境建模、合成、评估与应用综述

本文综述 LLM Agent 环境工程，从属性与领域分类环境，介绍符号与神经合成及质量评估，阐述智能体进化与环境进化，并讨论环境即服务、多智能体、神经符号等未来方向。

2026-06-12 22:22:22 461

原创（2026|CVPR Oral|NITR，模型压缩，权重调制，参数映射）映射网络

映射网络在所示任务上，以减少 200 到 500 倍的可训练参数，实现了与目标网络相当甚至更好的性能，同时增加了表达能力，减少了过拟合和模型训练时间。但对于大型目标网络，使用单个潜在向量的训练策略内存开销较大，而分层训练可将内存需求降低近 10 倍。

2026-06-11 21:11:47 334

原创（2026|北大 & 中南，以文本想象思考，MLLM，基于文本的想象，思维链，自蒸馏）Imagine-OPD：通过策略内自蒸馏实现视觉操作内化

Imagine-OPD 是一个 On-Policy Self-Distillation 框架，将 “Thinking with Images” 的优势转移到 Thinking with Imagination。通过训练一个使用放大证据视图的教师来监督模型自身的想象轨迹，Imagine-OPD 学会了两件事：查看哪里，以及更近距离检查会揭示哪些视觉线索——且无需调用外部工具。

2026-06-10 21:26:40 561

原创（2026|港大 & 上海 AI Lab，以视觉想象思考，VLM，世界模型，视图一致性，两阶段强化学习）Astra：基于世界模拟器的具身视觉空间推理

本文提出将视觉空间推理研究为 “thinking with imagination”，其中 VLM 通过与世界模拟器的交互主动获取想象的视觉证据。该框架包含两个关键部分：Astra-WM（一个世界模拟器，生成空间一致的想象观测）和 Astra-VL（一个两阶段 RL 训练的 Agentic 策略）。

2026-06-10 21:26:22 532

原创（2026|NVIDIA，图像生成，超分辨率，流匹配，矫直流，蒸馏）PiD：基于像素扩散的快速高分辨率潜在解码

PiD 是一种像素扩散解码器。它将潜码解码重构为以潜码为条件的像素扩散过程，在一个生成式模块内统一了解码和上采样。通过 sigma 感知的噪声潜码条件训练和解码器设计，PiD 可以灵活处理不同质量的潜码（包括基座 LDM 提前终止产生的部分去噪潜码）。

2026-06-09 16:28:49 420

原创（2026|LU & UIC，无监督，开放世界知识检索→skill 构建/评估/优化→部署到目标 Agent）OpenSkill：面向 LLM Agent 的开放世界自我进化

本文定义了开放世界自进化问题：Agent 仅从任务指令和开放世界资源出发，从零构建 skills 和验证信号，不依赖目标任务监督。提出 OpenSkill 框架，通过开放世界知识获取、无泄漏 skill 进化和零样本目标评估三个阶段的引导闭环实现这一能力。

2026-06-09 16:28:41 411

空空如也

空空如也