38 项基准赢了 31 项：中国团队把开源决策模型做到全球第一，Jev 的王座还稳吗

38 项基准赢了 31 项：中国团队把开源决策模型做到全球第一，Jev 的王座还稳吗

【免费下载链接】openjev 项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev

最近 AI 圈有个消息传得挺凶：一家成立还不到 5 个月的上海公司 StartLux（原点星辉），在 9 月 30 日甩出了一套叫 StartLux-Decision 的开源决策模型，尺寸从 0.8B 一路铺到 27B。媒体标题写得很猛——"38 项基准里，31 项压过 Jev"。

Jev 是谁？过去两个月，它几乎是"AI 决策模型"这个新物种的代名词。有人说它把 AI 调用成本打到了零头，也有人说它才是 Agent 时代真正干活的"行动引擎"。

现在，一个中国团队拿着开源权重来敲门了。问题也跟着来了：这 31 项，含金量到底有多少？开源决策模型，真的要换天了吗？

一、先把话说白：决策模型到底是个啥

你可以把聊天大模型想成公司里那个特别能写的实习生：什么都能聊，但你让他判断"这张报销单该不该批"，他会先给你写三百字分析，最后才憋出一句结论。慢、贵，而且偶尔还会一本正经地胡说。

决策模型不一样。它更像公司门口那位老门卫：不写材料、不作诗，只回答三件事——放行、拦下、还是上报，顺便告诉你"我有多确定"。

这个"有多确定"很关键。它不是一句"我觉得差不多"，而是一个 0 到 1 之间的概率。比如"该转给财务"0.92，"该转给技术"0.05。程序拿到这个数字，就能直接设门槛：超过 0.8 自动处理，低于 0.5 转人工。

这就是为什么 Jev 会火。Agent 系统里大量的"智能"，其实不是写文章，而是判断：这条内容要不要拦、这个工具能不能调、这单该派给谁、这句话有没有瞎编。把这些判断从聊天大模型里拆出来，交给一个专门的小模型，速度快了、账单薄了、结果还更稳定。

二、这次中国团队拿出的，不只是"一个大模型"

StartLux-Decision 最有意思的地方，是它没做一个"万能大块头"，而是做了两个性格完全不同的版本。

一个是 Instant，急性子。 把材料从头到尾读一遍，一次就给每个选项打出一个概率，不写一个字。官方在 H200 显卡上测的数据是：1024 个 token 的请求，0.8B 版本大约 31 毫秒，27B 版本大约 98 毫秒。基本上就是你眨个眼的工夫，它已经判完了。

另一个是 AutoThink，老会计性格。 简单的单子秒签；一旦发现自己没把握，就停下来"想一想"，想一想再给答案。

这个"想一想"有多值钱？官方给了个很直观的数字：在 7800 道刁钻的对比题上，27B 的 AutoThink 有 39% 的题看一眼就直接答，准确率 96%；剩下 61% 拿不准的题，它先想再答，准确率从 57% 拉到了 93%。相当于改了 1783 个错，只新添了 94 个错。

这就像一位老会计：九成的单子扫一眼就签，剩下一成翻账本、对条款、按计算器。既不耽误事，也不容易出事。

更妙的是，团队还专门治了 AI 的另一个毛病——"想起来没完没了"。他们用一套强化学习的方法，做对给糖、啰嗦扣分，结果模型在规定字数内把话说完的比例最多提升了 48 个百分点，平均"思考"长度砍掉了 65%。

三、31/38 这个数字，到底怎么算出来的

先把两个容易混淆的口径说清楚。

所谓"38 项基准"，指的是 Decision Index 这个榜单的老版本：它把五个大领域里的 38 个测试集揉成一个总分，覆盖知识推理、语言理解、检索分类、工具调用、人文审美。后来新版把其中一些题换掉，公开部分是 37 项。

所以"38 项里赢 31 项"和"37 项里领先 23 项"，说的并不是同一件事。

论文附录里的原话更克制：在 37 项公开基准中，至少有一个 StartLux 型号拿到全场第一的，是 23 项。而"31 项高于 Jev"更像是传播口径——允许在 0.8B 到 27B 之间挑最好的那个成绩去比。

这不代表成绩注水，但确实说明：看榜单，得先看清楚是"跟谁比"、"怎么比"。

真正硬的数字在这里：

• 0.8B 版本拿到 53.75 分，Jev 是 57.96 分。 最小的模型还差 4 分多，没赢。
• 2B 版本 59.14 分，反超 Jev。
• 4B 版本 67.88 分，把 27B 的 Perplexity Decider（62.25 分）和 Jev（57.96 分）都甩在了后面。
• 27B 的 AutoThink 版本 73.37 分，是这批参评系统里的最高分。

一句话总结：不是"每个尺寸都碾压"，而是"越小越吓人"。 一个 4B 的模型，打赢了一堆比自己大好几倍的对手，这才是最让同行睡不着的地方。

但分数只是第一层。团队自己又出了一套叫 DecisionPivot 的题，专门考"一念之差"：两道题几乎一模一样，只改一个数字、一个日期、一个条件，答案就完全不同。

这恰恰是现实里最容易翻车的地方——退款政策差一天、审批权限差一级、合同条款多一句"除外"。

在这套题上，27B 的 AutoThink 成对正确率是 86.9%，Jev 只有 31.0%，连带着推理能力的 GLM-5.3 也只有 82.2%。

意思很直白：Jev 很会"格式正确"，但一遇到需要算一笔、对一条的题，就容易答得理直气壮却错得离谱。这也正好呼应了网上那篇很火的文章标题——"格式对，答案照样错"。

四、比分数更值钱的三件事

第一件：它知道自己有多不确定。

天气预报说"80% 概率下雨"，如果一年下来，说 80% 的那些天真的下了八成，这叫"校准得好"。AI 也一样。

在 7800 道题上测下来，Jev 的置信度平均虚高了 13.8 个百分点，另一家 Clef 虚高 19.3 个百分点；StartLux 的三个 AutoThink 版本，误差分别是 2.4、3.3、5.2 个百分点。

别小看这个差距。一个总说"我九成确定"、实际只有七成对的模型，你敢让它自动放款、自动封号、自动调用工具吗？概率不准，后面的自动化就是空中楼阁。

第二件：它真的能塞进普通设备。

官方给的部署方式挺接地气：服务器上用 vLLM，普通电脑用 llama.cpp，苹果电脑用 MLX。0.8B 和 2B 版本，用 llama.cpp 在 CPU 上就能转；27B 的 4bit 量化版，一台 64GB 内存的 M5 Pro 笔记本就能跑，1024 token 的请求大约 3.3 秒一次。

3.3 秒听起来不快，但这是 27B 模型在你自己的笔记本上、不联网、数据不出门的前提下跑出来的。对很多有合规要求的公司来说，"慢一点但数据不出公司"比"快一点但要走云端"重要得多。

第三件：它不光会批单子，还会打游戏。

官方放出的演示里，27B 模型跟 Jev 下了 256 盘国际象棋，赢了 58.4%，其中一局在第 19 回合把 Jev 将死。它还打通了《超级马力欧》第一关，在《星际争霸 2》里赢了内置的困难 AI，在《Doom》里跟四个机器人对射。

这些演示不是闲得慌。下棋、打游戏、点网页，本质上都是"看当前局面，从有限动作里挑一个"。这恰好是决策模型最擅长的事：不生成长篇大论，只做选择。

五、泼一盆冷水：开源，不等于随便用

这里必须提醒一句：StartLux-Decision 的模型权重是 CC BY-NC 4.0，也就是"署名、非商业使用"。 代码是 Apache-2.0，但权重不是。公司想拿它做商业产品，得单独去谈授权。

另外两个细节也值得知道：

一是单次判断最多支持 26 个选项，选项特别长的时候要分组多轮，会有轻微掉分；二是 4bit 量化虽然省内存，但在难题上可能掉几个点，想追求稳定还是得用 FP8 或 BF16。

还有那个"自己出题自己考"的老问题。团队自己在论文里承认：Decision Index 的公开部分被用来做过模型选型，所以那些分数不能算完全独立的测试；真正独立的评测是 DecisionPivot。而 DecisionPivot 也是他们自己出的。

这话说得挺老实，但也说明：榜单第一，不等于天下无敌。

六、openjev 这边，另一条路走通了吗

如果说 StartLux 是"把产品做全"——尺寸全、版本全、部署方式全；那 openjev 走的是另一条路：把决策模型做成一块谁都能改、谁都能查的"基础零件"。

它的思路很朴素：不生成文字，只做判断题。把"题目"和"某个选项"摆在一起，让模型判断这句话是"成立"、"矛盾"还是"说不清"。听起来简单，但一个模型就能干很多活：给答案重排、给作文打分、给内容守门、甚至打游戏。

在这张官方雷达图里，多边形越大，代表零样本能力越全面。它比的是 openjev、Jev 和 Terra 在多项选择题上的表现，注意面积不等于总分，只是看起来直观。

成绩方面，openjev 最新的 4B v5 在 JevBench 的 231 道公开题上拿到 0.814，Jev 1.13 是 0.866；难题档是 0.622 对 0.730。差距还在，但没有被拉开到"不是一个时代"的程度。

它有几个很讨工程师喜欢的特点：

• 顺序无关。 把选项正着排、倒着排、打乱排，231 道题一次都没翻盘，概率最大变化只有千万分之一。这意味着结果可复现，出了事能查。
• 许可证是 MIT。 商用友好，这一点比"非商用权重"省心得多。
• 小得离谱也能跑。 0.8B 版本一张显卡就能服务，用 SGLang 部署比原生方式快 1.5 到 3 倍。
• 不训练也能玩。 把游戏画面当"题目"，把"怪物在准星左边 / 右边 / 正中间"当选项，选中概率最高的那个就是动作。4B 版本靠像素打《Doom》，一局能拿 10.4 个人头，是随机乱打（1 个）的十倍；在《我的世界》里，它用了大约 22 次决策，从零凑齐材料做出了一把铁镐。

当然，它的短板也写在明面上：遇到提示词注入，准确率会从 0.833 掉到 0.467；拿它当命令行安全审查员，只能抓出 37% 该拦的命令；网页空结果检测也不如 Jev。更"自曝家丑"的是，v5 的训练数据里混进了 MMLU、GSM8K 等测试集，所以那些分数官方直接标注"无意义、不报告"。

这种把缺点摊开写的做法，在开源圈其实比多拿几分更珍贵。因为别人能复现、能挑错，才敢真正拿去用。

七、所以，天要换了吗

我的判断是：不是换天，是分层。

Jev 干了一件了不起的事——它让大家意识到，AI 不必什么都用"写作文"的方式解决，判断可以单独拆出来，做成便宜、快速、可校准的零件。这个产品定义，谁都得认。

StartLux 往前推了一大步：把尺寸从 0.8B 铺到 27B，把"该想才想"做成开关，把校准误差压到个位数，还顺手把权重开放出来。它证明了中国团队在这条新赛道上，不只是跟跑。

openjev 则补上了另一块：可复现、可自托管、可商用、能塞进一张旧显卡。它可能拿不到榜首，但它让"每个人都养得起一个决策模型"变成现实。

对普通人来说，这些名字其实不重要。重要的是，以后你打客服电话、申请退款、发一条内容、让 AI 帮你订张票，背后可能都是这种"只会点头摇头"的小模型在干活。它不跟你聊天，但它更快、更便宜，也更少瞎编。

最后留个轻松的问题：如果真给你一个"只做判断、不写废话"的 AI，你最想让它替你做哪个决定？是每天中午吃什么，还是那双加购了三次还没下单的鞋，到底买不买？

【免费下载链接】openjev 项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev