<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[青年AI研究员idea加油站，AI开发者的新能源充电桩。]]></title><description><![CDATA[qingkeai.online]]></description><link>https://blog.youkuaiyun.com/QingKeLab</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; QingKeLab]]></copyright><item><title><![CDATA[别再让计算等着搬权重了！KTransformers 让 CPU 直接参与 MoE 微调计算]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/169265073</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/169265073</guid><author>QingKeLab</author><pubDate>Tue, 27 Oct 2026 17:26:17 +0800</pubDate><description><![CDATA[KTransformers-FineTune（KT-FT）由清华大学MADSys实验室与趋境科技联合提出，针对大模型微调中显存不足与效率低下的问题，创新性地采用CPU/GPU协同计算范式，将专家计算迁移至CPU，突破传统“权重搬运”瓶颈。通过语义感知布局引擎与动态线程调度优化，实现在单卡下微调吞吐提升2.5～21.2倍，并支持多平台、低成本部署。进一步提出的LoRA Expert设计，利用剩余显存增强热门专家训练，显著加速质量收敛。项目全面开源，推动前沿模型在资源受限场景下的高效适配与应用。]]></description><category></category></item><item><title><![CDATA[我们可能一直都低估了小模型！Select to Think：也许选择比生成更重要]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/167980977</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/167980977</guid><author>QingKeLab</author><pubDate>Thu, 15 Oct 2026 08:02:06 +0800</pubDate><description><![CDATA[LLM 更好的选择，很多时候已经存在于 SLM 自己的候选空间里。Select to Think 因此把复杂的生成模仿转化为更容易学习的局部选择，并进一步把这种能力蒸馏回 SLM 自身。]]></description><category></category></item><item><title><![CDATA[ICML 2026｜让 Agent 真正和谐作战：GoS 为多智能体推理构建共享信念状态]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/162547796</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/162547796</guid><author>QingKeLab</author><pubDate>Fri, 03 Jul 2026 12:27:01 +0800</pubDate><description><![CDATA[近年来，大语言模型在数学、代码等任务上的表现不断刷新上限，但到了医疗诊断、故障排查这类真实世界任务里，真正困难的是让多个智能体在不确定的动态环境中持续协作推理。 以医疗诊断为例，主治医生不可能一开始就让病人把所有检查都做一遍，而是要根据当前诊断方向，动态安排影像科、检验科等不同]]></description><category></category></item><item><title><![CDATA[ICML 2026 | 一段视频，同时听懂四道命令！OmniShow把多模态可控视频生成整合成统一「调音台」]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/162498699</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/162498699</guid><author>QingKeLab</author><pubDate>Thu, 02 Jul 2026 00:12:33 +0800</pubDate><description><![CDATA[OmniShow：统一框架下的多模态可控视频生成 OmniShow提出了一种端到端模型，能够同时处理文本、参考图像、音频和姿态四类条件输入，实现精准协同控制。通过复用视觉通道原生接口、门控局部注意力对齐音频，并采用分阶段训练策略，模型在12.3B参数量下高效整合多模态信号。实验表明，其在身份一致性、音画同步和动作控制等任务上超越级联方案，尤其在复杂场景（如电商口播）中优势显著。统一框架还支持条件自由组合，为数字人、内容创作等场景提供灵活工具。该工作获ICML 2026接收，核心在于将多模态协同视为系统工程，]]></description><category></category></item><item><title><![CDATA[就从来没人质疑过 OPD 的 reward 设计吗？我们发现了 log 本身就是问题，也许就不该用！]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/162385493</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/162385493</guid><author>QingKeLab</author><pubDate>Sun, 28 Jun 2026 11:14:28 +0800</pubDate><description><![CDATA[本文提出PowerOPD方法，解决大模型后训练中On-Policy Distillation（OPD）存在的训练不稳定问题。研究发现传统采样token OPD使用无界对数概率比作为奖励信号，导致低概率token产生极端梯度，引发训练初期准确率下降、生成长度震荡等问题。通过将奖励函数中的对数替换为有界的Box-Cox幂变换，PowerOPD实现了：1）训练稳定性提升（梯度范数降低3000倍）；2）性能超越vanilla OPD（最高提升+6.37准确率）和full-vocab OPD（最高+2.59准确率）；]]></description><category></category></item><item><title><![CDATA[ACL 2026｜SFT 为何总是学习失败？也不是所有 SFT 失败都该加 epoch！教你修复 SFT 的五把「手术刀」]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/162094622</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/162094622</guid><author>QingKeLab</author><pubDate>Thu, 18 Jun 2026 12:11:51 +0800</pubDate><description><![CDATA[本文针对大语言模型监督微调（SFT）中的"学不会"问题，提出了系统性解决方案。研究发现，SFT训练中平均15.3%的样本存在未学习现象，传统"增加训练轮次"方法效率低下（仅提升1-2%）。作者提出五类根因及对应干预策略：（1）知识缺失型采用持续预训练（CPT）知识增强，提升8-17%；（2）知识冲突型通过CPT校准纠正错误先验；（3）数据矛盾型采用动态分桶隔离冲突样本；（4）训练遗忘型通过全局打乱和动态重采样缓解；（5）优化不足型采用渐进式epoch分配。实验表明，这些策略在医疗、法律等领域显著提升模型性能]]></description><category></category></item><item><title><![CDATA[从 LLM 的局限到世界模型：LeWorldModel 为何更接近 AI 的第一性原理？]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/162046975</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/162046975</guid><author>QingKeLab</author><pubDate>Tue, 16 Jun 2026 22:44:52 +0800</pubDate><description><![CDATA[本文探讨了大语言模型（LLM）与世界模型（WM）的核心差异与未来发展路径。作者指出，尽管LLM在知识压缩、文本生成等任务上表现出色，但其本质缺陷在于缺乏真实世界经验、因果推理能力和稳定的内部世界模型。而杨立昆团队提出的LeWorldModel展示了一种新思路——通过构建能够仿真、规划与决策的世界模型，实现更高效的AI推理与行动。文章对比了两者在知识来源、内在表征和核心能力等方面的本质区别，认为世界模型可能为AI发展提供超越规模扩张的替代路径。]]></description><category></category></item><item><title><![CDATA[[特殊字符]什么？SFT、DAgger、离线 RL 和 OPD，竟然是同一张 2×2 表格上的四个格子！]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161984159</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161984159</guid><author>QingKeLab</author><pubDate>Sun, 14 Jun 2026 21:24:39 +0800</pubDate><description><![CDATA[本文探讨了推理模型后训练中的蒸馏与强化学习（RL）结合的两大范式——off-policy蒸馏和on-policy蒸馏（OPD），揭示了它们背后的耦合设计维度，并提出解耦框架。研究发现，两种范式分别隐式绑定了prefix来源（教师/学生轨迹）和KL方向（forward/reverse），解耦后形成四种训练方法，对应SFT、DAgger、离线RL和OPD。实验发现reverse KL在精度上优势明显，但会导致熵崩塌和生成长度膨胀；而forward KL能保持多样性但精度受限。基于此，团队提出两种实用方法：KL混]]></description><category></category></item><item><title><![CDATA[直播预告！从 MLA 到 GQLA：无需从头训练，硬件自适应高效注意力机制]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161980004</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161980004</guid><author>QingKeLab</author><pubDate>Sun, 14 Jun 2026 15:34:29 +0800</pubDate><description><![CDATA[【摘要】北京大学博士孟繁续提出新型注意力机制GQLA，可在GQA与MQA间动态切换，使预训练模型无需重训即适配不同硬件（如H100/H20显卡），实现最优推理效率。相比DeepSeek的MLA方案，GQLA针对计算瓶颈显卡优化计算量，旗舰卡则减少KV缓存。6月16日青稞Talk将详解其核心架构、硬件自适应部署及零成本转换技术，分享TransGQLA等创新成果。孟繁续曾发表7篇顶会论文，其TransMLA和PiSSA成果已被工业界广泛采用。]]></description><category></category></item><item><title><![CDATA[清华最新提出全新 VLM 架构 DPA：让多模态大模型先“对齐”，再“理解”！]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161931560</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161931560</guid><author>QingKeLab</author><pubDate>Fri, 12 Jun 2026 19:30:32 +0800</pubDate><description><![CDATA[摘要： 视觉语言模型（VLMs）主流架构将视觉特征直接投影至大语言模型（LLM），但存在模态对齐不足的问题。研究团队提出**深度预对齐（DPA）**架构，通过前置小型视觉语言模型（perceiver VLM），将视觉特征主动对齐到LLM的文本表示空间，再输入目标LLM。实验表明，DPA在11个基准上显著提升多模态性能（平均+1.9~+3.6分），同时缓解文本能力遗忘（减少21.6%~32.9%），且推理开销仅增加约2%。DPA的关键在于利用语言先验实现视觉-文本深度对齐，释放LLM的深层推理能力，而无需改变]]></description><category></category></item><item><title><![CDATA[还在用 2D 空间训具身？南洋理工 MMLab 提出 4D 具身世界模拟器，构建虚拟与现实的时空桥梁！]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161930816</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161930816</guid><author>QingKeLab</author><pubDate>Fri, 12 Jun 2026 16:17:17 +0800</pubDate><description><![CDATA[南洋理工大学MMLab团队提出Kinema4D，一种全新的4D生成式具身模拟器，突破传统模拟器在视觉真实感和物理规则上的限制。Kinema4D通过"控制与环境解耦"思路，精确建模机器人4D操作轨迹和环境响应，在零样本泛化能力上展现优势。团队构建了大规模数据集Robo4D-200k，并通过实验验证Kinema4D在视频生成质量、几何质量和策略评估方面的优异表现。该研究为具身智能的高保真、规模化训练开辟了新路径。]]></description><category></category></item><item><title><![CDATA[音频编辑模型全军覆没！多机构联合发布MMAE：首个通用音频编辑测评基准]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161903765</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161903765</guid><author>QingKeLab</author><pubDate>Thu, 11 Jun 2026 23:08:16 +0800</pubDate><description><![CDATA[MMAE：面向通用指令式音频编辑的大规模多任务评测基准 音频编辑正面临从传统单点处理向自然语言驱动的通用编辑转型，但缺乏全面可靠的评测基础设施。为此，研究团队提出MMAE基准，系统覆盖Sound、Music、Speech等7种音频模态，构建了包含6级复杂度和8类编辑操作的任务分类体系。其核心创新在于：1）采用rubric-based评估方法，将开放式任务拆解为可验证的原子指标；2）设立Instruction Following和Context Consistency双轴评测，分别衡量指令执行准确性和上下文保]]></description><category></category></item><item><title><![CDATA[视觉 FLOPs 减半！清华最新成果 LLaVA-UHD v4，突破高分辨率多模态大模型的视觉编码效率瓶颈]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161870823</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161870823</guid><author>QingKeLab</author><pubDate>Wed, 10 Jun 2026 22:06:56 +0800</pubDate><description><![CDATA[本文提出LLaVA-UHD v4模型，针对多模态大语言模型中高分辨率图像输入导致的视觉编码计算瓶颈问题，创新性地采用切片编码和视觉编码器内部早期压缩策略。相比传统全局编码和视觉编码器后压缩范式，该方法将视觉编码计算量降低55.75%，同时保持或略优于基线性能。通过结构化压缩模块和参数复用初始化等技术，在降低token数量的同时有效保留视觉信息。实验表明，该方法在不同数据规模下均能稳定提升效率，为高分辨率多模态模型提供了更高效的设计方案。]]></description><category></category></item><item><title><![CDATA[给 Agent RL 加个“事后复盘”：StepOPSD 让模型精准找到“哪一步走错了”？]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161728154</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161728154</guid><author>QingKeLab</author><pubDate>Fri, 05 Jun 2026 21:51:05 +0800</pubDate><description><![CDATA[StepOPSD：一种面向多轮Agent强化学习的步感知在线偏好蒸馏方法 本文提出StepOPSD方法，解决多轮Agent强化学习中因全局轨迹学习导致的错误定位不准问题。传统方法要么依赖稀疏的终端奖励信号，要么将整条轨迹作为普通文本进行蒸馏，无法区分关键决策步骤。StepOPSD在GRPO算法基础上，通过三个核心设计实现精准的步级信用分配：(1)仅抽取模型可控的action步骤；(2)利用同批次成功轨迹作为教师信号；(3)保持RL方向不变，通过乘性权重调整优势函数。实验表明，该方法在ALFWorld的Hea]]></description><category></category></item><item><title><![CDATA[直播预告！从 ARPO，到 AEPO，再到 Agent-World：探索通用智能体训练的可行路径]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161661009</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161661009</guid><author>QingKeLab</author><pubDate>Wed, 03 Jun 2026 17:04:42 +0800</pubDate><description><![CDATA[摘要： 6月6日，中国人民大学博士生董冠霆将在青稞Talk分享通用智能体训练的前沿研究。内容涵盖三部分： ARPO：针对多轮交互型LLM智能体的强化学习方法，通过分支采样优化工具调用，显著提升任务性能（如GAIA数据集Pass@5达61.2%）。 AEPO：改进的熵平衡策略，解决训练稳定性问题，在14个基准上优于主流算法，如HLE任务Pass@5提升至26.0%。 Agent-World：首创智能体与环境协同进化框架，通过合成环境与持续学习提升泛化能力。 董冠霆在通用智能体领域成果丰硕，本次分享将探讨从单环]]></description><category></category></item><item><title><![CDATA[直播预告｜从 MiniLLM 开始，为什么 OPD 正在成为推理模型时代的“基础设施”？]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161462396</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161462396</guid><author>QingKeLab</author><pubDate>Wed, 27 May 2026 21:39:48 +0800</pubDate><description><![CDATA[摘要：On-Policy Distillation（OPD）已成为大模型后训练领域的热点话题。最新研究发现，学生模型不仅能模仿教师模型，还能通过On-policy数据、与强化学习的融合以及自我优化（Self-Play/Refine/Distillation）持续提升能力，推动大模型从"预测器"向"学习系统"演进。5月30日，青稞社区将举办OPD专题AMA，邀请傅宇千、Tianzhu等6位青年科学家，探讨OPD爆火原因、学生模型超越教师的可能性、RL与蒸馏的边界模糊等前沿问题，揭示技术演化背后的深层逻辑。（1]]></description><category></category></item><item><title><![CDATA[长文本推理一定要改架构？阿里最新提出 RTPurbo：仅需百步训练，无损达到 97%+ 稀疏度与 9 倍加速]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161409530</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161409530</guid><author>QingKeLab</author><pubDate>Tue, 26 May 2026 08:01:52 +0800</pubDate><description><![CDATA[RTPurbo：基于原生稀疏性的高效大语言模型推理优化 摘要： 本文提出RTPurbo，一种通过轻量级微调激活大语言模型原生稀疏特性的高效推理优化方案。研究发现，经过Full Attention训练的模型在Head和Token级别已具备高度稀疏性：仅15%的Attention Head承担长程检索功能，且低频RoPE编码可构建极低维检索空间。RTPurbo通过离线Head校准、动态稀疏注意力机制和两阶段轻量化训练（仅需600步），在保持原始模型能力的同时实现9.36倍Prefill加速和2.01倍Decod]]></description><category></category></item><item><title><![CDATA[清华最新论文！动态 MoE 迁移算法 ZEDA：让 MoE 自己学会“摸鱼“，推理提速 20%]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161270884</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161270884</guid><author>QingKeLab</author><pubDate>Thu, 21 May 2026 08:37:21 +0800</pubDate><description><![CDATA[本文提出ZEDA方法，通过注入零专家和自蒸馏训练，将已训练好的MoE模型低成本迁移为动态MoE模型。核心创新包括：1）引入零专家作为跳过计算的选项；2）采用SFT+OPD两阶段自蒸馏适应新结构；3）设计分组辅助损失控制计算节省比例。实验表明，该方法能在跳过约50%专家计算的情况下，保持模型在数学推理、代码生成和指令遵循等任务上的性能仅小幅下降。相比直接修改路由或裁剪专家，ZEDA提供了一种更温和高效的MoE推理加速方案。]]></description><category></category></item><item><title><![CDATA[ICLR 2026｜Next-ToBE：让“自信而短视“的大模型看得更远、推理更准]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161214476</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161214476</guid><author>QingKeLab</author><pubDate>Tue, 19 May 2026 10:28:23 +0800</pubDate><description><![CDATA[华东师范大学与复旦大学团队在ICLR 2026论文《Next-ToBE》中提出了一种创新的大语言模型训练方法。研究发现，当前模型预测分布中已隐含未来token信息，但标准next-token训练目标未能充分利用这一前瞻能力。Next-ToBE通过将单点one-hot标签扩展为覆盖未来窗口的软目标分布，在不改变模型结构的情况下激活了模型的潜在前瞻能力。实验表明，该方法在数学推理、代码生成等任务上显著提升性能，同时训练开销更低（显存最多减少68%）。这项工作揭示了调整训练目标而非增加模型复杂度来提升长程规划能力]]></description><category></category></item><item><title><![CDATA[ACL 2026 Findings | 浙大提出 GFT：On-Policy SFT 视角下的奖励微调]]></title><link>https://blog.youkuaiyun.com/QingKeLab/article/details/161197649</link><guid>https://blog.youkuaiyun.com/QingKeLab/article/details/161197649</guid><author>QingKeLab</author><pubDate>Mon, 18 May 2026 16:37:50 +0800</pubDate><description><![CDATA[SFT到底在优化什么？它为什么会削弱后续RL的探索空间？有没有一种后训练方式，既保留SFT的知识注入效率，又能像RL一样利用奖励和比较信号？]]></description><category></category></item></channel></rss>