- 博客(247)
- 收藏
- 关注
RSS订阅原创 Lean 验证通过，能说明模型理解了证明吗？
一道数学题交给模型，它写下证明，Lean 在声明旁标出双勾。这时可以放心使用什么？如果题目已经准确写成形式命题，证明完整，所用公理也在许可范围内，那么别人可以拿走这份证明，交给同一环境重新检查。即使模型明天忘了怎么做，这份数学成果仍然成立。反过来，若把题目中的一个条件删掉，再问模型原证明在哪里失效，这对勾给不了答案。前一个问题考查交付的证明，后一个问题考查生成者能否认出证明对条件的依赖。
2026-11-05 15:40:13
295
原创 类别不平衡时，一个全局温度够用吗？
下一步可以检查参数迁移，但不能直接拿本篇审计最低损失的温度当作赢家。新的比较必须先定义配对规则、估计对象和数据权限。若以后想检验“难例组成比标签比例更重要”，应先登记错误强度的操作定义，并明确使用哪些开发数据；不能看过最终确认结果之后反向补写假设。本篇留下的可靠结论是有限而具体的：固定一百条校准总量、三种类别比例和同一审计分布时，全局温度的表现没有随不平衡程度单调恶化。它可以在总体概率损失上保持作用，但这些结果没有证明子群体可靠性，也没有证明更复杂校准不必要。
2026-11-05 15:35:50
222
原创 Hy4 加入视觉与电脑操作：正式发布之后，哪些证据还要等？
11 月 4 日，腾讯宣布发布 Hy4，称其新增视觉理解与电脑操作能力，同时表示正式版权重和系统卡将在未来几天提供。对科研读者而言，这次发布值得关注的，是视觉输入与多步行动结合后能否形成可检验的能力进展。
2026-11-05 15:31:41
202
原创 仿真中的成功能迁移到现实吗：评测分布与失败成本
机械臂在屏幕里稳稳抓住杯子，能否据此相信它在真实桌面上也能完成任务？问题不只在于画面够不够逼真。相同动作指令可能产生不同位移，杯子的摩擦、相机的位置和任务结束条件也可能改变结果。对视觉—语言—动作模型而言，语言理解、视觉识别与控制误差还会在执行过程中相互影响。本篇对照三项一手研究，区分三个命题：仿真能否帮助排列策略优劣，能否估计真实成功率，以及仿真训练能否提高现实表现。**目前证据支持有条件地把仿真当作研究工具，却不支持凭一个仿真总分宣布现实可靠。
2026-11-04 16:17:58
299
原创 温度缩放与保序回归：灵活方法一定更好吗？
作者推断是：灵活映射在稀疏分数区域缺少错误观察时，更容易把局部纯净误当确定性。但当前只有一个固定小样本子集与一个完整池，不能估计这一现象的发生频率，更不能宣布方法普遍胜负。后续若要比较平滑保序、概率截断或更多校准样本，应另行登记候选与选择规则，不能拿本篇审计结果反复选出最好组合后继续称独立评测。下一篇将改变校准集类别比例，检查全局温度能否同时照顾两类。本篇留下的可审查结论更克制：相同数据下，拟合误差下降不保证审计概率质量提高；边界概率与数值舍入必须分开；分类正确数、平方损失、对数损失也不能互相替代。
2026-11-04 16:12:52
240
原创 预训练领先，微调后仍领先吗？Muon 与 AdamW 的数据规模反转
北京时间今天凌晨 02:56，卡内基梅隆大学 Catherine Li、Jingchu Gai 等研究者向 arXiv 提交了比较 Muon 与 AdamW 的论文版本。团队报告：随着预训练数据增加，两种优化器在微调后的优劣可能反转。这项工作值得读，因为研究者最终需要的往往不是训练结束时分数最好看的模型，而是能够继续学习、又不过度丢失已有能力的模型。
2026-11-04 16:09:45
81
原创 从看视频到执行动作：观察学习究竟缺少什么？
看见人把杯子提起来，与让机械手提起杯子，中间隔着什么？视频可以展示目标、顺序和物体变化，却不直接给出另一种身体应执行的控制指令。本文对照VPT、LAPA和HuRo，检查动作信息在训练流程的哪个环节进入。三篇研究支持视频作为有用的学习资源，但没有共同证明“只靠观看即可获得通用控制能力”。更值得研究的问题是：视频收益有多少来自视觉表征，有多少来自可迁移的动作结构，又有多少依赖后续适配与反馈？现有证据足以支持一种有限而有用的结论：视频可以降低学习控制的部分成本，但“没有原始动作标签”与“没有动作信息”不是同义词。
2026-11-03 17:06:55
309
原创 校准集只有几十条时，温度估计有多不稳定？
只拟合一个参数，仍可能因为校准集中没有错误而产生极端概率。今天的贡献是把平均表现之外的失败留下来：固定输入、预先登记抽样、报告全部边界解、用独立求解器复核，并明确有限池与历史暴露的限制。可靠的复现实验不只是给出一个温度，更要说明换一小批校准样本之后，结论还能保留多少。
2026-11-03 17:03:02
291
原创 不先翻译成文字，模型能传得更好吗？Latent-Lens 的视觉通信实验
北京时间 10 月 30 日 21:53，Mo Shahdloo 等研究者向 arXiv 提交 Latent-Lens，探索让视觉语言模型直接向小语言模型传递隐藏表示。本文解读的是近三天公开的工作，并非今天的新发布。它提出的问题很具体：一个模型看见的东西，是否必须先变成一句话，另一个模型才能使用
2026-11-03 17:00:14
726
原创 多模态思维链更可信吗：解释中的视觉依据如何验证？
模型回答“桌面上可以喝茶，因为有茶壶和杯子”，还把杯子的位置指出来。这样的解释比一句“可以”更容易检查，但仍留下一个问题：杯子真影响了答案，还是模型决定答案后才找到了合适的说法？封面以茶具作概念插画，并非论文样本，也不是严格配对的实验刺激。
2026-11-02 15:28:49
288
原创 一个温度参数，能修复多少过度自信？
本篇最有价值的证据不是温度恰好等于多少，而是拟合和评测职责终于分开。一个标量在这个固定划分上明显改善了概率质量，且没有改变任何分类标签。这让“校准有用”成为可以独立复算的具体观察，同时也限定了它修复不了的部分：错误的语义决策、少量高置信错误，以及未观察分布上的可靠性。下一步可以检验校准样本数变少时温度是否稳定，但必须先固定嵌套样本、随机种子与汇总规则，不能从审计集里挑出最顺眼的温度。另一个待检验假设是少数严重错误主导了 NLL 拟合；它需要预注册影响分析，不能仅从总体均值倒推出结论。
2026-11-02 15:20:05
503
原创 预训练前先上“合成课”划算吗？一项等算力研究重新检查收益
北京时间 10 月 29 日 21:45，Cohere、UCL 与 MIT 的 Alexander Stern 等研究者提交了《Rethinking Pre-pretraining》预印本，重新检查语言模型在常规预训练之前先学合成数据的价值。本文解读这项近三天公开的研究，并非今天的新发布。它值得关注，因为“加一道训练工序能提高成绩”与“这道工序值得占用预算”，是两个需要分别回答的问题。
2026-11-02 15:16:46
182
原创 视觉推理是在看图，还是依赖语言先验猜答案？
问一张香蕉照片“它是什么颜色”，回答黄色可能来自看图，也可能来自常识。把香蕉换成红色，错误才显露出来；但答错仍可能是没看清颜色、没理解问题，或没有把看到的属性用于回答。**总正确率不能独自区分这些解释。**封面中的红色香蕉只是概念插画，不是论文测试样本。
2026-11-01 14:28:20
127
原创 二分类头与生成式模型的置信度，能直接比较吗？
这次证据支持一个有限结论：在相同短评与标签下，两类分数可以接受同一分类评测，但候选归一化改变了概率的条件范围，不能直接解释为开放生成的正确概率。生成模型的失败接口也提醒我们，较低平均置信度本身并不表示校准更好，更不能代替正确数与概率损失。接下来可以检验三个不同问题：固定模型只改模板，是否仍全负面；固定模板替换等长标签词，候选质量是否改变；只在隔离校准集拟合温度，概率损失能否改善。它们需要分开登记，不能一次修改所有因素再挑最好结果。本系列下一步进入温度校准，先建立合法的数据使用协议；
2026-11-01 14:22:21
292
原创 智能体该向哪段经验学习？Routed CL 在混合任务中探索记忆分流
北京时间 10 月 29 日 04:03，Meta FAIR 的 Michael Philip 等研究者提交了 Routed Continual Learning 预印本，探索让智能体自己选择经验的保存方式和共享范围。本文解读这项近三天公开的研究，不将其写成今天的新发布。它值得关注的问题很实际：一个助手交替处理多类任务时，过去的经验究竟应该送给谁？
2026-11-01 14:19:12
157
原创 世界模型学到了什么：视频预测与因果理解的距离
一个模型生成了逼真的多米诺骨牌视频，倒下的方向也合理。它可能学会了接触如何传播，也可能沿用了常见画面的续写方式，还可能先生成许多候选，再由另一个模型挑出较合理的一条。仅看最终成片，这些解释很难区分。本文讨论一个较窄的问题：视频预测在什么条件下，能成为模型掌握可迁移动力学的证据？结论是，画面质量、给定条件下的预测准确度、干预后的稳定响应，需要分别测量。三项研究提供了不同层次的诊断，尚不足以把“世界模型”这个名称直接兑换成因果理解证明。
2026-10-31 18:06:39
219
原创 模型最自信的错误，集中在哪些样本？
作者推断是：中间长度较低的错误率值得跟踪，但目前证据不能区分文本内容、类别构成与长度本身的作用。下一步若要检验长度解释，应先冻结配对或分层方案，在允许的独立数据上验证，而不是立即删除长样本，或重新寻找能让曲线单调的边界。当前列表只能生成假设，不能同时承担发现和确认。本篇新增产物是一份能从真实 logits 独立还原的错误地图。模型接近满分的置信度仍可能对应错误；错误在不同组中的比例也并不一致。
2026-10-31 18:02:09
6
原创 教师何时接手推理？ATI-OPD 探索长序列蒸馏中的局部干预
北京时间 10 月 28 日 10:00，哈尔滨工业大学与华为研究人员提交了 ATI-OPD 预印本，研究如何在长推理训练中让教师模型适时接手。本文解读的是近三天公开的工作，并非今天的新发布。它值得关注的地方，是把“向更强模型学习”具体化为一个教学问题：学生已经走偏时，继续批改，还是先改写一小段，再让它自己走？
2026-10-31 17:59:10
302
原创 长期记忆让智能体更可靠，还是让错误持续累积？
假设科研助手曾经用某种清洗规则处理一份数据，并得到正确结果。它把规则写入长期笔记，下次遇到字段相似的数据便照搬，却忽略了单位已经改变。更麻烦的是，新结果又被总结为“成功经验”，进入下一次检索。这是说明问题的假设场景，不是本次实验。**长期记忆能保存有价值的信息，也能保存不适用的经验。可靠性取决于写入依据、适用条件、调用方式和修复能力，不能仅由记忆条数或一次任务成功判断。**本文把争议收窄为：性能变化来自知识积累、错误回流，还是经验被错误概括？
2026-10-30 21:46:58
301
原创 准确率不变，概率质量也不变吗？
本次没有置信区间，因为目标首先是展示固定预测上的确定性反例；图上也不伪造误差线。若要估计新样本上的差异，需要事先确定配对统计方案与独立评估数据。若要选择温度，则必须把拟合和评估分离。现在直接采用表现较好的温度，再在同一批数据上报告收益，会把测量对照变成有选择偏差的方法比较。下一步可检验的问题是：这些自信错误在预先规定的长度和原始标签分组中是否集中？这个问题可以继续利用现有预测推进，又不会提前消耗确认数据。本篇留下的可靠结论则更基础：答案是否正确与概率分配是否合理是不同维度；
2026-10-30 11:53:36
226
原创 测过多少种语言，才算多语言能力？一项评测审计与尚待核清的比例
封面为 AI 生成的概念插画；书册厚度与地球背景不表示真实数据、语言分布或实验结果。北京时间 10 月 27 日 18:37，微软印度研究院等机构的 Manan Uppadhyay、Sunayana Sitaram 等研究者将一项多语言评测审计提交至 arXiv。团队报告梳理了 51 个基准、242 个数据集与 219 种语言。它值得关注，因为模型“测过很多语言”，究竟能支持多宽的能力判断，仍需要拆开检查。本文讨论的是两天前的公开版本，不是今天新发生的实验。
2026-10-30 11:49:55
29
原创 让机器人直接学控制：LECO 的跟踪进展，为什么仍要看传统兜底？
封面为 AI 生成的概念示意，不是论文原图、真实机器人实验或实际控制架构。北京时间 10 月 26 日 14:55，Bing Sun 等研究者提交了 LECO 预印本，探索让移动机器人直接学习控制指令，同时保留预测检查与传统控制兜底。本文解读这项近三天的研究，不将它写成今天刚发生的突破。值得关注的问题是：把一部分在线求解搬到训练阶段后，机器人能否既跟得稳，又在困难时刻接得住？
2026-10-29 15:37:09
342
原创 工具学习能迁移吗：学会调用模式还是理解工具语义？
模型在训练中学会查询天气，测试时能够调用陌生的航班接口，这看起来是迁移。但“陌生”可能只指接口名字没出现在微调集，也可能意味着参数单位、返回结构、执行条件都改变了。前一种成功不能直接回答后一种问题。本文的判断是：**工具学习确实可以在限定协议下迁移，但调用代码、工具选择和执行效果是不同的证据对象。**API Pack展示新接口上的代码生成；ToolSense揭示检索成绩与工具知识探针之间的分离；PA-Tool说明固定模型也会因接口命名改变而表现不同。三篇论文并未构成简单的支持与反对阵营。
2026-10-29 15:34:28
342
原创 同一组预测，为什么会得到不同的校准误差？
这个受控对照没有发现分箱选择能大幅改变本组 ECE，但发现了高置信样本高度集中、低分母区间解释脆弱的明确边界。后续可检验的问题是：当预测类别保持不变、只改变概率分布时，负对数似然与 Brier 分数是否给出相同排序？这个问题需要预先指定变换，并完整报告候选，而不是先改概率再挑最支持结论的度量。本篇能留下的结论有限而清楚：同一组预测的 ECE 依赖统计协议；本次五箱与更细箱的差别很小，细分也没有带来可靠的新样本证据。
2026-10-29 15:30:47
136
原创 智能体在规划，还是在搜索：成功轨迹能证明什么？
智能体连续完成检索、选取、填写和提交，看起来像先想好了全程。然而，同一条成功轨迹，也可能来自反复尝试后留下的最好分支，或者每走一步都由环境提示下一步。结果是真的，关于结果如何产生的解释却还没有确定。
2026-10-28 14:25:57
277
原创 模型有九成把握，就有九成正确吗？从256条情感判断建立置信度基线
系列：可信预测实验室：从模型置信度到可检验的拒答本篇实际完成：固定公开DistilBERT检查点，对SST-2的256条开发样本重新推理，保存逐条分数并独立复算。没有训练、没有拟合校准参数，也不把分类概率解释成开放问答的事实可靠性。
2026-10-28 14:08:57
267
原创 OpenAI 宣称推翻指数时间假设：公开证明与独立审查走到哪一步？
10 月 26 日，OpenAI 宣布其内部模型给出了指数时间假设（ETH）的反驳，并公开自然语言手稿及 Lean 形式化材料。这是值得认真检查的重大主张：它可能改变计算机科学对一类问题“究竟有多难”的判断。不过，公开材料、机器核查与学界理解是不同环节。今天最有价值的问题，是这份主张已经提供了什么，又把哪些工作留给了研究者。
2026-10-28 11:52:16
404
原创 自我反思真的能纠错吗：重写答案与获得反馈有何区别？
让模型“再检查一遍”，它常会写出一段反省，再换一个答案。读者容易把这个过程理解为：模型发现了错误，所以修正了错误。但同样的表象也可能来自重新采样、提示中的暗示，或者执行器提供的新信息。答案变了，只能证明发生了修改。
2026-10-27 15:59:12
309
原创 微调成果怎样换一个模型？Ariadne 探索不同尺寸 Transformer 之间的迁移
北京时间 10 月 23 日 21:08，意大利摩德纳和雷焦艾米利亚大学、佛罗伦萨大学的 Filippo Rinaldi 等研究者提交了 Ariadne 预印本，探索在不同尺寸的 Transformer 之间复用微调效果。本文解读这项近三天的研究，不将其写成今天刚发布的突破。它提出的问题值得关注：换一个模型，先前学到的任务行为能否少走一些重新训练的弯路？[论文与提交记录](https://arxiv.org/abs/2610.32581)
2026-10-27 15:55:12
183
原创 从实验包到短论文：写出一份可审查的研究报告——300 条 SciFact 查询的冻结确认评测
一份实验包变成短论文，并不是把日志换成更正式的措辞。关键变化是：读者能够沿着一个明确问题，追查选择发生在什么时候、结果由哪些输入产生，以及什么证据会让作者收回结论。本项目的问题很小：交叉编码器重新排序时，保留原检索排名的信息，能否在相同候选和模型计分预算下改善检索质量？
2026-10-27 15:46:01
254
原创 推理路径该留下哪些？PKTP 把“至少答对一次”变成剪枝目标
北京时间 10 月 23 日凌晨，南加州大学 Mahdi Salmani 等研究者提交了 PKTP 推理剪枝预印本：让模型先展开一批解题路径，再决定哪些值得继续计算。它把选择目标放在整组候选至少成功一次的机会，而不是单条路径看起来有多好。这篇近期论文值得读，因为它将“多想几遍”推进到一个更具体的问题：有限算力应该留给怎样的一组思路？
2026-10-26 14:24:08
425
原创 局部增益之后，实验还告诉了我们什么？——100 条 SciFact 开发查询的区间与失败边界
把旧排名与交叉编码器排名相加，平均分确实上升了。但相关证据前移没有改善四条探针，融合也损害了部分原本排对的查询。此时最容易写出的故事是“总体有效，少数例外”；最值得完成的工作却是给出不确定性、反例和下一次检验的边界。本文重新运行真实模型，完整保存五千对评分，按共享证据文档分组计算配对区间，并冻结最终确认分析。已有局部增益，因此标题不再强说“新方法没有赢”；但开发集增益也不能提前兑现成确认集成功。
2026-10-26 14:19:01
734
原创 多智能体协作：收益来自分工，还是更多计算预算？
让几个模型先回答、再讨论、最后投票，分数超过一次作答，听起来很像集体智慧。但这个比较同时增加了尝试次数、可读文本和选择答案的机会。即使成员从未交流，只把独立答案汇总，也可能得到收益。
2026-10-25 15:21:13
200
原创 哪个模块真正有效：消融与交互效应——4 条 SciFact 探针的诊断实验
假设一套方法包含“让证据更靠前”和“保留原检索排名”两个改动。把二者一起打开，结果比原始模型高，能否认定两个模块都有效？不能：其中一个可能有害，另一个只是缓解了它造成的退步。
2026-10-25 14:45:56
320
原创 Claude 为软件写出形式证明：公开的 60 个入口究竟保证了什么？
模糊测试会不断生成输入，寻找程序崩溃的情况；形式验证则把要求写成数学命题，再检查推导是否成立。前者擅长找到反例，后者可以在明确前提下，对一个输入范围作整体论证。
2026-10-25 14:41:55
227
原创 改进先过强基线：它只是多用了数据或计算吗？——100 条 SciFact 开发查询的等预算对照
如果一个检索改进多看了文档、多跑了模型，最后分数更高，我们究竟验证了方法，还是预算？本篇把问题缩小到一个可以清楚记账的实验：保持候选与交叉编码器计分不变，只改变最终排序规则。
2026-10-24 10:30:45
279
原创 AI 监控覆盖了多少？METR 对历史系统的红队测试揭示了什么
判断当前版本是否可靠，还需要新的检查。公众今天获得了新证据，并不意味着被观察对象今天仍处于同一种状态。
2026-10-24 09:45:24
289
原创 持续学习与外部记忆：减少遗忘是否意味着真正学会？
模型学习新任务以后，旧题仍然答得对，是不是就完成了持续学习？如果答案来自随时可查的笔记，我们该如何描述进步？反过来，旧题突然答错，是否一定意味着原有知识已经被抹掉？本文的判断是：**减少遗忘是重要结果，但要和新任务学习、跨任务迁移、记忆访问条件一起报告，才能判断系统究竟学会了什么。**参数中的可调用能力与整个系统的有效能力都值得研究，只是两者不能互相代替。以下五项研究分别提供回放、行为恢复、隐状态记忆、充足样本存储和外部经验复用的证据。
2026-10-23 22:02:03
338
原创 为直觉找反例：设计最小的区分性实验——4 条 SciFact 查询的证据移位探针
“把证据放到前面，重排就会更好”，是一个很容易接受的直觉。上一篇却发现，十八条退步查询中，十七条的已召回相关文档没有截断。现在需要的不是再找几个符合故事的例子，而是安排让这个解释可能失败的对照。
2026-10-23 14:32:16
329
原创 32 分钟不是完成科研：多智能体读脑图谱，突破在哪里？
如果数千个 AI 智能体只用 32 分钟，就能梳理一份庞大的脑科学数据，我们应该惊讶什么？是模型终于能“独立做科研”，还是科研流程中的某个环节开始出现新的组织方式？10 月 21 日，OpenAI 公布了与 PerturbAI、Scripps Research 合作的研究：利用基于 GPT-Rosalind 的多智能体系统，解释一份已经存在的小鼠脑基因扰动数据，整理潜在研究线索。
2026-10-23 13:18:49
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人