
Jev:不说话的顶流模型
当下,各类新模型不断涌现,都急于证明自身的写作与聊天能力。然而,近期最火、刷屏全网的顶流却是不说话的Jev。
Almeida的怀疑与TypeSafe AI的诞生
OpenAI的研究员Diogo Almeida参与了ChatGPT的研发,还提出了基于人类反馈的强化学习算法(RLHF),这在一定程度上影响了过去几年大语言模型的走向。但就在该方法推动行业繁荣时,Almeida却对其产生怀疑。他认为有了一次性成功的创新,却未将其转化为真正有用的东西。他花了很长时间明白问题所在:四年里人类语言处理能力虽出色,但对自动化无用,因为计算机使用不同的“语言”。
两年前,Almeida离开OpenAI,与Erik Gafni、Sasha Sheng创办了TypeSafe AI。该公司一直处于隐身状态,直到9月15日正式亮相,带来4000万美元的种子轮融资(由DCVC领投)和首个模型Jev。
Jev:非大语言模型的独特存在
Jev仍是基于Transformer的模型,但它并非大语言模型,不会输出完整句子。给它一段程序状态和预先定义的问题,它会返回类型化答案、选项、分数、0到1之间的概率及置信度评分,TypeSafe称这种输出为“校准后的决策”。这也是Jev首次进入公众视野时,很多人感到困惑的原因。
理解Jev:客服场景类比
要理解Jev的工作方式,可放下大语言模型的思维习惯,以客服场景为例。用户反馈支付服务连不上影响生意,此时需判断交给哪个团队、对方不满程度和事情紧急程度。按TypeSafe的接口设计,同次请求中的问题共享输入,独立并行评估,分类和紧急程度可一起处理。
Jev输出的三种基本形态
Jev的输出有三种基本形态。一是Choice,从定义好的列表选一项,最多支持255个选项,适用于路由和分类;二是Score,在划定尺度上打分,衡量紧迫程度、质量或风险;三是Noul,本质是是非判断,答案是代表事情为真概率的数字。每次回答都附带完整概率分布和置信度,是强类型结果,无需写JSON提示词、额外解析器,也不用担心格式问题。
Jev的优势:省时省钱少出错
采用这种方式,Jev省时、省钱,还减少自由生成带来的格式错误。TypeSafe公布的数据显示,Jev端到端延迟在70到500毫秒之间,比同类大语言模型快20到200倍。按当前公开价格,输入每十亿token为42美元,即每百万token 0.042美元,输出不收费,新增问题和选项说明占用输入token,但不再按答案长度收费。由于可提前定义输出结果,Jev不会产生幻觉(指不会跳出预先设定的选项范围乱答,但选项范围内答错仍可能)。
Ably Pong演示:Jev速度惊人
在公开的Ably Pong演示中,Jev在12秒内做出47次操作决策,而Gemini、Claude和GPT在同样时间里仅做出两三次,尽管后者多数情况下判断正确。在演示里,程序将游戏数字交给Jev,Jev可从“向上、向下、保持不动”三个选项中选择。
Jev的打开方式与应用场景扩展
借助Jev做可玩产品,需要游戏程序和实时通信。项目由后端推进游戏、调用模型,通过Ably把新状态发给浏览器。游戏规则、画面和联网非Jev生成,它仅插入反复执行的三选一环节。
速度使Jev应用场景得以扩展。它可充当电脑操作判断层,指导代理快速执行指令;也可用于上下文压缩,判断关键信息,收窄上百万token的上下文。
Browser Use的公开项目jev - ultrafast实现了浏览器代理。Jev获取结构化状态、用户目标和操作历史,选择空间由页面实际元素动态生成。以查机票为例,程序会问多个问题,共用网页状态分别作答,最后采用与实际操作匹配的目标。碰到输入城市名称时,会调用小模型生成填写内容,浏览器执行后读取新状态。
Jev在实际应用中的表现
Vercel公司用Jev替代OpenAI的Luna后,处理速度提高5到18倍,准确性也大幅提升。开发者Nikhil Mudholkar测试发现,Gemini在分类商业邮件上准确率略高,但成本高出10到20倍。用户也可自行搭建,将业务拆成明确问题,用不同输出形态处理。
Jev的潜在应用与未来展望
Earendil公司CTO Armin Ronacher认为,Jev将幻觉问题处理责任部分转移到用户身上,用户可根据概率决定是否利用结果。Jev的另一个潜在应用是模型路由,因其成本低、速度快,能实现实时路由功能。
Jev名字由来与TypeSafe的设想
Jev名字取自19世纪经济学家William Stanley Jevons,其提出的悖论表明商品成本下降会导致更多使用。Almeida设想未来是大量微小智能判断分散运行,类似早期互联网,而非大型应用垄断。
Jev的架构与官方建议
TypeSafe未公开Jev具体架构,外界猜测它基于开源大语言模型改造,公司称其为System One Models,强调靠直觉判断,针对具体任务调校。官方建议将复杂判断拆成明确问题,由代码组合。
Almeida的预判与TypeSafe的计划
Almeida认为走上处理合成数据这条路是他最明智的决定。目前采用此路线的公司只有TypeSafe一家,Ronacher预计后续会有跟进者,TypeSafe也计划围绕不同场景推出更多版本模型。
Jev上线后的市场反馈
Jev上线后需求量超出预期,API曾短暂无法正常响应。有人用它筛选小众信息流,运行时间约两秒,单次成本0.007美元;有团队将其接入营销分析流程,提速30倍,成本压到3美元以内。AI少说话,软件多做事。
300



被折叠的 条评论
为什么被折叠?



