- 博客(5190)
- 收藏
- 关注
转载 见微知著:LLM 奖励建模的「Analytic Rubric」范式全面综述
而借鉴过去教育学与心理测量学研究的Rubric RMs,将整体的判断分解为多个明确且可解释的标准,作为一种新兴范式受到了学术界与工业界的广泛关注。Rubric RM 的效用不仅限于训练阶段。在推理时,它可以作为显式的验证器,为候选输出提供具体的评分和修改建议,在 Best-of-N 排序、自我反思、批判与修正等流程中大幅提升模型表现。,将隐式的专家领域要求转化为显式的评估规则。本质上,评分标准充当一个与模型无关的中间变量,可以集成到标量和生成式 RM 中,以指导偏好学习,从而为下游模型训练提供可靠的监督。
2026-05-27 21:30:33
193
转载 桌面 Agent 的下一步:不是会操作,而是会调度工具
它超过 GUI-Owl-1.5-8B(43.84%)、Gemini-3.1-Pro(41.14%)和 Claude-4-Sonnet(43.54%),并接近 Claude-4.5-Sonnet(48.35%)与 GUI-Owl-1.5-32B(48.05%)。但当任务变长之后,GUI-only 的弱点会被放大。(Tool Invocation Rate):是否做对任务,并且在 tool-beneficial tasks 中使用工具,在 non-tool-beneficial tasks 中避免工具。
2026-05-25 16:52:38
2369
原创 前 DeepMind 研究员反思:评测,而非算力或数据,才是下一阶段的瓶颈
如果评测信号能准确反映模型在新能力区间的表现,团队就能设计出更精准的 RLHF 奖励模型、更稳固的安全对齐层,以及更合理的 Scaling 决策。反之,如果评测校准在了错误的区间,训练信号、安全阈值和资源投入都会沿着错误方向狂奔,且团队在模型上线前毫无察觉。(需指出的是,在实际工业管线中,头部团队通常已采用多基准交叉验证、自动化红队与人工冗余作为兜底,静态评测虽存在滞后性,但并未完全失效。在能力跃迁变得愈发频繁的今天,作者指出,当模型行为分布发生质变时,旧基准的分数可能还在涨,但它的诊断力已经归零。
2026-05-19 19:24:22
348
转载 给 Agent Skills 装上眼睛:MMSkills 用多模态技能包教会智能体看状态、做决策
结果显示,直接加载完整多模态技能包反而会伤害性能,说明未过滤的图片和状态描述会污染主上下文;模型覆盖前沿多模态模型与较小规模开源模型,包括 Gemini 3.1 Pro、Gemini 3 Flash、Qwen3-VL-235B-A22B-Thinking、GLM-5V-Turbo、Kimi-K2.6 和 Qwen3-VL-8B-Instruct。MMSkills 的核心观点很直接:对于视觉 Agent,技能不应只是文本步骤或代码片段,而应是包含视觉状态、决策条件和验证证据的多模态程序性知识。
2026-05-18 21:48:34
140
原创 预训练加速新配方:不改动架构的 Token Superposition 训练法
从概念图可以看出,TST 的输入端将多个连续词元的 Embedding 平均成一个“超级词元”,使得模型实际处理的序列长度按比例缩短。论文中的消融实验表明,如果在恢复阶段随机重新初始化 Embedding 和 LM Head,TST 的增益完全消失,甚至表现还不如基线。这提示我们,如果你的数据本身就是瓶颈,或者 I/O 已经是瓶颈,TST 可能不是最佳选择。它验证了一个直觉:在预训练初期,模型或许并不需要逐字逐句地死磕细节,通过粗粒度的词袋平均吸收宏观统计特征,反而能加速表示学习。的“超级词元”序列。
2026-05-17 23:25:56
608
转载 浙大联合阿里云发布首篇 Token Economics 综述 :用经济学重新理解 LLM Agent 的 Token 世界
在真实应用中,Token 不仅对应模型调用费用,还直接关联计算资源、响应延迟、上下文管理、工具调用、安全防御与平台治理等多方面成本。论文指出,随着 LLM Agent 从实验环境走向金融、法律、医疗等真实高风险场景,Token 已不再只是模型输入输出中的技术单位,而正在成为影响系统成本、延迟、安全性与可扩展性的核心资源。这类似经济学中的杰文斯式动态。该部分覆盖的研究方向包括:推理效率、Token 数量控制、上下文管理、记忆架构、工具调用、检索增强、规划推理与 Agent 框架治理等。
2026-05-15 00:02:48
332
转载 “这个怎么组装?”一句无害的问题,如何让AI产生危险输出
在 Qwen3-VL-8B 上训练的攻击策略可直接迁移到 Claude 4.5 Sonnet,ASR 达 29.7%,是零样本基线的 3 倍,这表明 Planner 学习到的是通用的攻击模式(如角色扮演、视觉分解),而非针对特定模型的局部技巧。在查询泛化方面,在完全未见过的 214 个查询上,性能下降不超过 4%,说明模型并未过拟合训练样本,而是真正学会了攻击规划的能力。更深层来看,这项研究揭示了一个深刻的矛盾:模型能力的提升本身就是一种安全风险,更强的视觉理解力意味着更大的潜在威胁。
2026-05-14 00:01:37
67
原创 Karpathy公开附议:AI Agent 的输出格式,正在从 Markdown 走向 HTML
这背后依赖的是模型对前端代码的精准生成能力,以及本地文件系统或 MCP(模型上下文协议,让 AI 直接读取你的本地工具链)的上下文注入。最近,一线工程师 Thariq 在社区分享了一个反直觉的实践:在 Claude Code 工作流中,他几乎全面停用 Markdown,改用 HTML 作为 Agent 的主要输出格式。读这张引文卡片时,重点关注 Karpathy 对 AI 输出形态的阶段划分,以及他对 HTML 作为“早期但正在形成的新默认选项(new good default)”的定性判断。
2026-05-13 00:00:51
428
原创 Agent 时代的安全红队:别再只测 Prompt 了,真正危险的是“它会动手”
图中的环境复刻主要基于功能子集与接口模拟,并未包含真实生产环境的反欺诈风控、速率限制或外部 API 鉴权逻辑,线上实际脆弱性可能存在差异。在该实验设置下,将 OpenAI Agents SDK 的调度逻辑替换为 OpenClaw 的设计,在基座同为 GPT-5.2 时,直接和间接攻击成功率合计下降约。需要留意的是,该流程高度依赖预设的攻击策略库与 Judge 规则。读这张图时,重点看数据流向:从恶意目标生成,经过多向量注入接口,再到自动化红队智能体(DTAP-RED)的循环优化。
2026-05-12 00:01:34
445
原创 扩散语言模型能否扛住 Scaling?字节Seed把答案藏进了连续潜空间
此外,潜空间维度增加(如从 16 到 128)会带来最优去噪时间偏移的系统性漂移,这意味着噪声调度必须随维度动态对齐,而不是用一套固定参数跑到底。读这张图时,重点看三个模块的数据流向:Text VAE 的编码映射、Block-Causal DiT 的潜变量先验传输,以及推理阶段基于 ODE 积分的分块迭代过程。自回归模型靠的是“从左到右”的链式法则,训练目标清晰,但推理必须串行,且被固定的词元顺序束缚。连续扩散把文本映射到了连续空间,但多数方法依然把扩散路径当作“去噪恢复观测”的过程,潜空间往往是静态的。
2026-05-11 20:14:12
445
转载 Infra 的尽头是“连接主义”?清华博士生傅炜详解下一代 RL Infra 的设计哲学
现实世界的大部分任务是无法回滚(Rollback)的。在这个代理网关的背后,系统默默完成了支持 RL 训练所需的重负荷工作:记录词元的对数概率(Log Probabilities)、管理智能体会话的生命周期、确保分词器(Tokenizer)的一致性,以及在模型权重更新时协调全局状态。: “它的所有模块几乎都是可替换的,”傅炜补充道,“无论是渠道到记忆库的调用,还是底层大模型的切换,用户都可以进行高度定制。而缺乏基建的研究者,就如同徒步跋涉的送货员,往往在触达科研目标前,就已在繁琐的工程泥沼中筋疲力尽。
2026-05-11 17:33:02
161
原创 别只盯着模型了,Agent 真正的天花板可能在“脚手架”
说白了,这就是一个把“文本生成”变成“状态机控制”的流水线。这篇长文的价值,不在于提出了什么底层算法创新,而在于把碎片化的工程共识整合成了一套可操作的心智模型。作者给出的解法是“Ratchet(棘轮)机制”:把每一次偶然的翻车,变成永久性的系统规则。现代大模型的后训练(Post-training)阶段,往往已经与特定的交互循环强耦合,导致一定程度的“架构过拟合”。开发者常陷入“唯模型论”的误区,以为换个评分更高的基座就能自动解决长程任务失败、幻觉或工具调用乱序的问题。智能体的稳定性确实是“管”出来的。
2026-05-11 17:33:02
540
原创 清华研究发现:当世界模型能够通过视觉想象而非纯文本思考时,其推理方式更接近人类!
作者在该实验设置下指出,在折纸任务的特定监督微调设置中,视觉路径的样本效率提升了约 4 倍(指对比纯语言 SFT 达到同等折纸任务准确率所需的数据量)。最后,理论部分推导的信息论上界非常漂亮,但在工程落地时,多模态对齐的显存开销、生成延迟与保真度之间的权衡,远比公式假设要复杂得多。纯语言推理在符号和抽象规则上进步很快,但在物理常识、空间拓扑这些需要具象表征的任务上,依然存在明显的系统性短板。当前的统一多模态模型虽然能做到图文统一生成,但视觉生成究竟在哪些环节真正帮到了推理,依然缺乏清晰的理论框架。
2026-05-10 18:48:29
370
原创 局部达标不等于全局最优:ICML2026新框架如何破解 Agent 协同调参
在这篇论文中,作者提出了一套无监督的迭代框架,用“局部-前瞻-全局”联合评估和错位案例挖掘,试图破解信用分配与分布漂移的难题。但需要明确,这里的提升属于渐进式改进,且高度依赖 Gemini-2.5-pro 的评估偏好,不同模型规模或分布外任务中优势可能收窄,不宜直接外推为业务必然收益。解决了“怎么打分”的问题,搜索策略也得跟上。:对实时延迟极度敏感的业务,或者采用动态路由、全连接复杂拓扑的场景,MASPO 的多轮轨迹收集和束刷新会带来明显的计算延迟,目前尚未验证其在动态图结构中的有效性。
2026-05-09 17:22:57
489
原创 OpenAI内部如何给Coding Agent上缰绳?
不聊模型架构,也不谈Scaling Law,只谈一件很现实的事:怎么给具备自主执行能力的Agent上缰绳。Auto-review和AI分诊展示了LLM实时风控的可行路径,但在对抗场景(恶意仓库诱导、越狱Prompt)下的防护边界,仍需各团队根据自身业务数据做红蓝对抗测试。目前更合理的理解是,它反映了OpenAI内部或企业版的基线实践。它说明了意图与决策链的可追溯性设计。安全团队面对的是一个黑盒,开发者面对的是频繁的安全拦截。两者联动,相当于给Agent圈了一个“带电子围栏的测试场”,出圈必须打报告。
2026-05-09 17:22:57
407
转载 北京线下报名 | HELLO, WORLD MODEL:前沿、实战与破局
然而,究竟该如何准确定义世界模型?从虚拟世界的模拟走向现实物理世界的控制,我们还需要跨越哪些技术与商业的鸿沟?我们诚邀合作伙伴与赞助商携手,共同链接全球顶尖 AI 创新者。从底层理论到前沿实战,再到商业落地,为你带来一场高密度的知识与人脉盛宴!💻 无法到场的朋友,请扫描海报右侧二维码或者点击下方预约线上直播!🌟 爆发在即,只等你的加入。“世界模型爆发在即,AI的边界正被重新定义。伴随着生成式AI的演进,从视频生成到具身智能,为了直击研究痛点,碰撞前沿真知,本周末,,以及深耕空间智能、人形机器人领域的硬核
2026-04-22 19:41:39
59
转载 2050大会 | 「AGI4Science·新生论坛——正在生长的科学地图 」嘉宾阵容全览!
在数据库领域,主要探索存储与执行的协同设计,以实现内存高效查询处理,相关成果发表在VLDB、SIGMOD、CIDR等顶级会议。他的研究成果主要发表在ICML,NeurIPS,ICLR等机器学习顶级会议上,多次获得oral,spotlight paper等荣誉,并担任多个顶会的审稿人。作为一名从学术界坚定投身工业界的实干家,他致力于将AI for Science的科学范式深度应用于人源化生命材料制造领域,旨在全面重塑重组人源化胶原蛋白的研发效率与产业化标准,让AI真正转化为实体制造的“新质生产力”。
2026-04-22 19:41:39
423
转载 卷飞了!到底几篇顶会才够申博门槛?
我们团队汇聚了 AI 领域的顶尖学术力量,拥有多位万引学者,其中包含来自北美、港新以及国内Top3高校的教授、高被引博士,有顶级科研影响力和品味,研究前沿,指导详细,适配学生不同类型的科研需求。硕士就发N篇1作顶会,斩获大厂人才计划,年薪百万,博士手握10余+顶会,斩获Top高校教职。、深度学习、强化学习、多模态方向论文辅导:从选题、开题、跑实验、写论文、改投、顶会返修,全程手把手带,懂科研痛点,不搞无效辅导!“原来‘优秀’的门槛,早已被顶会重新定义——没有顶会,再出色的能力,也只能沦为陪跑”
2026-04-21 10:36:50
104
转载 从语言哲学到 AI 智能体:大语言模型如何回答 150 年前的哲学叩问?
目前,NICE 已构建起覆盖中、美、欧的国际化团队,正加速在硅谷、纽约、香港等地落地,致力于打造连接学术、产业与未来的全球化 AI 前沿社区。2024 年博士毕业于香港中文大学,研究方向为大模型安全和大模型应用,近五年发表 A 类论文 40 余篇,发表论文获 ACM SIGSOFT 杰出论文奖,EMNLP 最佳论文提名,深圳科协优秀论文奖。在本次分享中,我们将跳出枯燥的代码和算法表象,从高维的哲学视角,重新审视 AI 走向人类语言核心的历程。和我们一起站在哲学的高地,预见 AI 的下一步!
2026-04-17 20:09:26
99
转载 招聘 | Ai native婚恋产品招Agent开发联创
我们要做的不仅仅是婚恋产品,更是在创造接下来A2A时代的重要能力 —— 在数字分身(小龙虾)普遍缺乏用户完整的主观数据的情况下,我们在强社交动机场景(婚恋),利用轻松且符合人性的聊天方式,“全面+高效”的采集用户主观数据,搭建个人基于主观数据的小模型。全程AI引导,用户用最懒的办法,只用动动嘴就可以了。我们正在开发一款婚恋匹配神器,用户注册后预约时间,坐等AI来电,通过聊天语音分析,AI会自动做匹配,如双方愿意线上先聊聊,就拉群聊帮他破冰和暖场,下面如双方愿意见面,AI还会自动帮他们协调时间和订餐厅。
2026-04-16 20:26:48
78
转载 SafeHarness:告别防御盲区,为智能体Harness穿上「全生命周期安全护甲」
然而,正是这种“大权在握”的核心地位,使得 Harness 成为了极具价值的攻击面:哪怕只是框架层面的单点妥协(例如一条被投毒的工具输出),风险也会顺着执行管道级联放大到整个系统。与无保护的基线相比,SafeHarness 使智能体的 不安全行为率(UBR)平均降低了约 38%,攻击成功率(ASR)平均降低了 42%。为了解决上述痛点,SafeHarness 提出了一个核心洞察:智能体执行的四个阶段(输入处理、决策制定、动作执行、状态更新)有着各自独特的安全需求,必须由专属的、感知阶段的防御层来守护。
2026-04-16 20:26:48
169
转载 OpenClaw热潮之后,倒计时最后一天 | 线上预约、线下报名
本次报告将提出从性能导向转向价值导向的新视角,系统拆解全天候主动理解与长期持续演进的三大路径,并重点阐述迈向开放智能体网络的实现思路:通过跨组织、跨平台协作能力,以及持久身份、经验积累与持续演进机制,构建可连接、可协同、可成长的通用智能体生态。二是工具调用安全,针对API、MCP等外部工具链,构建调用前的权限校验、参数过滤与异常检测机制。目前,NICE已构建起覆盖中、美、欧的国际化团队,正加速在硅谷、纽约、香港等地落地,致力于打造连接学术、产业与未来的全球化AI前沿社区。刘卫文 上海交通大学副教授。
2026-04-10 22:16:54
80
转载 静态稀疏已死:Flux Attention 开启长文本 LLM 自适应推理新时代
内存访问上,稀疏层只需要加载和保存最小规模的KV缓存,稠密层则保留完整KV,实现了完全连续的内存访问,彻底消除了层内同步长尾,让理论上的算力节省,100%转化为实际的推理速度提升。但当我们尝试将Elastic Attention推向实际工程落地时,一个无法回避的硬件瓶颈出现了:头级别的动态路由,虽然在算法层面实现了最优的稀疏配比,却很难在decode阶段,将理论上的FLOPs减少,转化为实际的wall-clock速度提升。头级别的动态路由,解决了算法层面的自适应问题,却受限于硬件架构,无法完全释放潜力;
2026-04-10 22:16:54
73
转载 静态稀疏已死:Flux Attention 开启长上下文 LLM 自适应推理新时代
内存访问上,稀疏层只需要加载和保存最小规模的KV缓存,稠密层则保留完整KV,实现了完全连续的内存访问,彻底消除了层内同步长尾,让理论上的算力节省,100%转化为实际的推理速度提升。但当我们尝试将Elastic Attention推向实际工程落地时,一个无法回避的硬件瓶颈出现了:头级别的动态路由,虽然在算法层面实现了最优的稀疏配比,却很难在decode阶段,将理论上的FLOPs减少,转化为实际的wall-clock速度提升。头级别的动态路由,解决了算法层面的自适应问题,却受限于硬件架构,无法完全释放潜力;
2026-04-10 22:16:54
106
转载 MASFactory: 多智能体系统开发进入Vibe Graphing时代
同时每一个子图都可以是一个自治域,对于每个自治域都可以拥有独一套的编排语言——它可以使代码编排的结构、可以是Vibe Graphing结构、可以是纯拖拽生成的结构,也可以预先设定好的复合组件。开发者既可以自己写,也可以自己拖拽,还可以先让 AI 起草系统结构,再编译成可运行的多智能体工作流——以上三种方式并不是相互割裂独立的,而是可以在同一个项目中同时使用。在每一个阶段结束后,用户都可以查看当前生成效果,并进一步提出修改意见,从而让整个生成过程更可控,也更贴近真实的论文讲解与汇报需求。
2026-04-08 19:39:23
88
转载 让大模型异步地增强推理能力
测试时扩展虽然有效,却往往伴随着更长的推理时延、更高的显存压力,以及更复杂的系统同步开销。也就是说,瓶颈并不只是“模型算得多”,更在于“系统等得久”。这项工作的关键思路,是把传统偏同步的测试时扩展流程,改造成一个更灵活、更高效的异步框架。ATTS的价值,就在于它把测试时扩展这件事,从一种高成本的能力增强手段,推进成了一个更具工程可落地性、更有统计保证、也更具系统想象力的技术框架。这意味着,通过更合理的推理时协同机制,轻量草稿模型与强目标模型的组合,可能成为未来高效推理系统中的一种极具现实意义的路线。
2026-04-08 19:39:23
53
转载 通义实验室正式开源 Mobile-Agent v3.5 及新一代多平台 GUI Agent 基座模型 GUI-Owl-1.5
如果你正在做 Computer Use / Mobile Use / Browser Use 相关能力,希望实现多端统一自动化,并将 GUI 操作与 Tool/MCP 编排结合,支持端云协同部署,那么 Mobile-Agent v3.5 与 GUI-Owl-1.5 提供的不只是一个 demo,而是一套接近真实交付需求的底座与方法论。从文档、教程、社区问答中整理并改写为 QA/VQA,提升用户语言与软件功能、操作路径的对齐。:把这些能力补齐,让 Agent 能规划、能执行、能纠错、能记忆,真正形成工作闭环。
2026-04-07 17:42:46
234
转载 给 OpenClaw 再加一道安全护栏
runtime 这部分,我们不是只盯最后一步“执行了什么”,而是从六个方面一起看:input,memory,plan,tool,execution,output。一个 skill 如果会主动索取、读取、暴露、转存这些内容,那就已经不是“小心一点”的问题了,得重点盯。再看它是从哪来的,它依赖的东西又是从哪来的。毕竟,很多风险不是来自“明显看起来很坏的代码”,而是来自“这玩意儿到底是谁家的,怎么下来的,为什么没人认识”。它是不是只拿了“完成任务所需要的权限”,还是顺手多拿了一圈,能看的都看,能碰的都碰?
2026-04-07 17:42:46
42
转载 OpenClaw热潮之后 | 上海线下
成立以来,我们汇聚海内外 300+ 嘉宾,通过百余场线上深度分享与线下高规格活动(北京/上海/苏州等),全网积累超 15 万关注。目前,NICE 已构建起覆盖中、美、欧的国际化团队,正加速在硅谷、纽约、香港等地落地,致力于打造连接学术、产业与未来的全球化 AI 前沿社区。我们希望探索的,不是更快的预测,而是可持续演化的决策能力。这场产学研融合的 AI 盛宴开放游览参观,邀你近距离体验前沿 AI 技术与创新成果,感受多元智能应用的独特魅力!这一次,我们不聊虚幻的蓝图,只聊真实的痛点与落地的未来。
2026-04-06 23:13:43
82
转载 Claude Code + 多智能体协同:把数据清洗、建模、部署一条龙自动化
系统覆盖Claude Code AI编程智能体、OpenClaw个人AI代理、SubAgent多智能体并行架构、MCP工具生态、Skills技能扩展等核心技术,并深度横评GPT、Claude、Gemini、DeepSeek等七大主流模型的科研能力差异。一次学全,体系化掌握。培训规模:从2017年至今累计完成300+场线下深度培训,培训科研人员超过20,000人,其中80%为高校教师、教授、研究生、博士生、博士后、医院医生、科研院所等研究人员,学员覆盖包括清北复交在内的全国上百所高校。
2026-04-01 10:02:12
131
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
49
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
56
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
60
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
29
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
40
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
42
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
29
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
49
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
54
转载 ICLR 2026 | 大模型当裁判也“翻车“?北大清华联合多校提出TrustJudge,让LLM评估更值得信赖
这些"含糊的平局"在不同组合里不一致地冒出来,A = B、B = C、但 A ≠ C 的情况就出现了。用大模型给其他模型当裁判,已经是评估界的标配——MT-Bench 用单项评分,AlpacaEval 用成对比较,RLHF/GRPO 做偏好标注。实验数据来自 MT-Bench(80题)和 ArenaHard(500题),裁判模型覆盖 Llama-3 系列(3B/8B/70B)和 GPT-4o。看完前面的实验,可能会有人问:TrustJudge 里面既提高了评分粒度(5分→100分),又加了概率归一化。
2026-04-01 10:02:12
51
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅