Laya:不做生成、只做决策的开源非自回归模型

laya非自回归决策引擎:Router与RLCD机制解析 在自动化决策与流程编排场景中,从有限动作空间选择最优解是核心需求。非自回归引擎通过一次性评估所有候选动作得分,实现低延迟、高稳定性的决策输出,其原理在于将问题形式化为状态、动作与奖励的三元组,并借助Router调度组件解耦决策与执行。这类引擎的技术价值在于可测试性强、可解释性好、部署成本低,适用于游戏NPC行为选择、推荐系统排序、运维分支判断等场景。laya正是这一思路的实践,配合RLCD校准机制,专注决策而非生成,为被大模型延迟与成本困扰的团队提供了新选择。 阅读详情

一句话概括:Laya 是一个开源(Apache-2.0)的“System 1”决策引擎——它不生成文本,而是对一段输入做一次前向传播,直接给出带校准概率的结构化决策,单题约 33ms。 它由 Convai Innovations 发布,被广泛视为 TypeSafe Jev 的开源平替。

一、Laya 是什么?

现代 AI 流水线里有一个常见误用:用生成式大模型(8B~70B)去处理那些本质上很“反射性”的小决策——工单该分给哪个部门、这封邮件是不是钓鱼、这段提示词是不是越狱攻击。调用生成式 LLM 意味着 500~2000ms 的等待、按 token 计费,而且它输出的 “confidence: 0.95” 往往只是“听起来很自信”,并没有数学意义上的校准。

Laya 走的是完全不同的路线:

  • 非自回归架构:基于双向编码器(English 用 ModernBERT-large 421M,多语言用 mmBERT-base 322M),输入 token 同时看到前后文。
  • 不生成文本:为每个候选选项分配独立的 [MASK] 位,一次前向传播输出所有选项的 logits,经 Softmax 归一化为概率分布。因为从不生成文本,所以既没有格式解析负担,也从根本上不存在幻觉。
  • 输出空间只有数字和类别:返回的是结构化结果 + 校准概率。
  • RLCD 强化学习训练:以“严格真评分规则(proper scoring rules)”作为奖励,模型只有在输出真实后验概率时才能拿高分,不确定时置信度会自然降低——这正是它“诚实”的来源。

三种决策原语

原语输出典型用途
choice选中标签 + 各项概率 + 置信度部门路由、意图分类、主题归类
score有序量表上的期望等级 + 分布 + 置信度挫败感、工单紧急度、危害程度
noul0.0~1.0 的校准概率 P(true)钓鱼检测、垃圾邮件、越狱检测、流失风险

三个原语可以在同一次前向传播中一起跑完:一次工单评估就能同时得到队列归属、紧急程度和流失风险。

三个 checkpoint + 智能路由

Laya 把三个专用 checkpoint 打包在同一个 Hugging Face 仓库里:

checkpoint主干编码器参数量适用
layaModernBERT-large421M英文文本分类、护栏、邮件分拣
laya-multilingualmmBERT-base322M100+ 语言,速度快约 2 倍
laya-typed-decisionsModernBERT-large421M智能体可观测性、客服、安全告警

内置的 Router 会在 <0.5ms 内用纯 Python 检测 Unicode 字符集与语言,自动分发到正确的 checkpoint。这一点很关键:英文模型遇到高棉语、印地语等非拉丁文字时,准确率会跌到 0,但置信度依然高达 95.2%——模型的置信度根本发不出警报,所以路由决策必须在推理前完成。

与闭源 Jev 的对比

维度TypeSafe JevLaya(已路由)优势
typed-decisions 准确率0.7270.766+3.9%
校准误差 ECE(越低越好)0.2460.081(温度拟合后)好约 3 倍
单题 p50 延迟236~276 ms32.8 ms快约 7.8 倍
10 题批处理~1500 ms72.3 ms快约 20 倍
语言覆盖无公开多语言基准51 种语言中 45 种可用—
权重 / 协议闭源 APIApache-2.0 开放权重—
成本$0.042 / 百万 token自托管 $0—

需要注意,Laya 的对手数据是第三方/TypeSafe 公布值,并非本地实测,样本与 prompt 也不完全相同;引用时保留这一前提。

二、能解决什么问题?

Laya 填的是“生成式模型处理起来又慢又贵又容易幻觉”的那块空白,核心价值有三点:

  1. 把延迟从几百毫秒压到几十毫秒:33ms 级延迟可以嵌进每一次请求链路(比如 Agent 入口的护栏检查),而生成式 LLM 做不到。
  2. 让置信度可以真正驱动自动化:经 RLCD 训练的概率具备统计意义,可以直接做阈值门控——高置信自动放行、低置信转人工。传统 LLM 的置信度做不到这一点。
  3. 数据不出境、长期零成本:完全本地自托管,对比按 token 计费的专有 API,长期使用成本为零。

落地效果(企业工作流评测)

  • Enron 数据集上的垃圾邮件过滤:准确率 99.3%,校准误差 0.013。
  • 网络钓鱼检测:准确率 98%。
  • LLM 护栏(保留的 ToxicChat 数据):准确率 75.5%~76.2%,在 50% 选择性覆盖率下提升到 93.1%。

三、适合在什么场景使用?

适合(高流量、结构化、反射性决策):

  • 客服工单自动分诊:判断部门归属、紧急程度、用户挫败感、流失风险;高置信自动派单,低置信转人工。
  • 内容安全与审核:检测毒性、骚扰、威胁内容,noul 输出违规概率,适合 UGC 平台实时审核。
  • 提示注入防护(Guardrails):在 Agent 入口检测越狱、注入、密钥泄露,33ms 级延迟可嵌入每次请求。
  • 智能模型路由:在混合大模型架构中判断请求该走小模型还是前沿模型,用极低成本完成调度,节省推理费用。

不适合 / 需要谨慎:

  • 选项超过 20 个的高基数分类:这是架构限制——所有选项共享固定的 token 预算,77 个选项时每个标签只剩 3~4 个 token,准确率会明显掉(Banking77 上 Laya 0.425 vs Jev 0.870)。建议拆成“粗分类 + 细分类”的层级结构,或调大 head_max_len。
  • 需要生成文本的任务:Laya 根本不做文本生成,这类需求请用普通 LLM。
  • 开箱即用的零样本决策:基础模型在 typed-decisions 基准上接近随机(0.362,随机基线 0.318)。0.766 的高分来自针对该基准训练集的微调。 Laya 是“一个供你快速专业化的底座”,不是零样本预言机。

四、怎么快速体验(RTX 4090)

Laya 模型很小(最大 421M 参数),4090 的 24GB 显存绰绰有余,可以轻松常驻内存并跑到比官方 T4 基准更低的延迟。

步骤 1:环境准备

需要 Python 3.10+(依赖 huggingface_hub 1.x、transformers 5.x、torch 2.14 都要求 3.10 以上),以及可用的 CUDA 驱动。

python -m venv .venv
.\.venv\Scripts\Activate.ps1
pip install laya

国内下载权重建议先设置镜像,避免卡在 Hugging Face:

$env:HF_ENDPOINT = "https://hf-mirror.com"

全量权重约 2.5GB;只下多语言子模型约 647MB。SDK 支持 allow_patterns 选择性下载。

步骤 2:一段完整可跑脚本

from laya import Router

# 预加载 checkpoint 到显存,指定 cuda(4090),消除语言切换时的冷启动重建
router = Router(preload=True, device="cuda")

# 1. 待分析的状态(任意语言、任意 JSON 结构)
state = {
    "from": "user@acme.com",
    "subject": "Duplicate charge on invoice #4411",
    "body": "Hi, we were billed twice for March. Please refund the duplicate today or we will cancel our plan."
}

# 2. 用 JSON 定义一组类型化问题
questions = {
    "department": {
        "type": "choice",
        "instructions": "Which department should handle this request?",
        "criteria": {
            "billing": "invoices, payments, refunds",
            "technical": "bugs, outages, system errors",
            "sales": "pricing, new contracts",
            "other": "everything else"
        }
    },
    "urgency": {
        "type": "score",
        "instructions": "How urgent is this request?",
        "criteria": ["not urgent", "soon", "critical deadline or blocking issue"]
    },
    "churn_risk": {
        "type": "noul",
        "instructions": "Does the user threaten to cancel or leave?"
    },
}

# 3. 一次前向传播,返回全部答案
res = router.predict(state, questions)
print("Department :", res["answers"]["department"]["choice"])   # -> billing
print("Urgency    :", res["answers"]["urgency"]["score"])       # -> 1.84 / 2.0
print("Churn Risk :", res["answers"]["churn_risk"]["noul"])     # -> 0.892
print("Routing    :", res["routing"]["model"])                  # -> english

步骤 3:置信度门控(这才是关键)

choice = res["answers"]["department"]["choice"]
conf = res["answers"]["department"]["confidence"]

if conf >= 0.85:
    route_automatically(choice)          # 高置信:无需人工
else:
    escalate_to_human(choice, reason=f"Low confidence ({conf:.2f})")

⚠️ 出厂 checkpoint 存在“过度自信”,在把概率用于自动放行前,一定要先在自己的领域数据上做温度拟合。官方数据:拟合后平均 ECE 可从 0.466 降到 0.081。多语言 checkpoint 默认没有拟合温度,更要先校准。

步骤 4(可选):进阶与微调

  • 只想跑单一模型,不想用 Router:
    import laya
    agent = laya.load("convaiinnovations/laya", subfolder="multilingual")
    result = agent.predict(state, questions)
    
  • 内置工作流预设:laya.router_questions()、laya.guard_questions()、laya.moderation_questions()、laya.triage_questions(),开箱即用。
  • 想在线先试:Hugging Face Space 上有 在线 Demo,可在浏览器测试 8 种工作流和多语言路由。
  • 要用自己的数据微调:仓库附带 Kaggle 2×T4 notebook,覆盖造数据、RLCD 训练、温度拟合、评测、推 Hub 全流程,约 4~5 小时。微调才是 Laya 价值最大的地方。

五、小结

Laya 传递的核心观点很直接:并非每个 AI 问题都需要一个聊天机器人。 对于高流量的分类、护栏和分诊任务,一个在 35ms 内输出校准概率的双向编码器,比生成式模型更快、更诚实,而且完全开源、可自托管、无供应商锁定。它最大的边界也同样清楚——高基数分类、纯零样本场景、以及必须生成文本的任务,仍需要别的方案来补位。

参考

Laya前端开源框架深度解析与实践应用 本文还有配套的精品资源,点击获取 简介:Laya前端开源框架是一个高效的跨平台JavaScript库,专注于2D/3D游戏及互动应用开发。它利用WebGL引擎提供原生级别的性能,同时兼容包括老旧IE在内的广泛浏览器环境。Laya框架具备强大的组件系统、资源管理、易用性,以及丰富的社区资源支持。实时编译和多平台发布能力让开发更加高效。通过LayaYKFramework-mas... 阅读详情

相关推荐

Arch Linux双系统安装避坑指南:从Windows分区到桌面环境全流程

本文提供了一份详尽的Arch Linux与Windows双系统安装避坑指南。内容涵盖从安装前的UEFI环境确认、BitLocker处理、分区规划,到Live环境进入、基础系统安装、GRUB引导配置,再到显卡驱动安装、KDE/GNOME桌面环境部署及中文化设置的全流程。重点解决了双系统安装中的核心痛点,帮助用户在不破坏现有Windows系统的前提下,顺利完成Arch Linux的安装。

nice1的博客 537

laya引擎学习(一、初识)

一不小心说了这么多,主要说了一下跟laya认识的过程,不想看的上面吹水的,可以忽略。下面我们来正式进入主题:初识laya.

酱油师兄的博客 2万+

9 HAL库驱动框架简述(STM32HAL库)

HAL库外设的使用步骤总结如下:1、定义并填充xxx外设句柄结构体。2、如果遵循HAL库规范,通过HAL_xxx_MspInit()函数,实现外设底层资源的初始化,包括但不限于GPIO、时钟、DMA、中断等资源的初始化。3、调用HAL库的对应外设初始化函数,形如:HAL_xxx_Init()。4、初始化完成,开始使用外设。5、使用方法具体查看对应外设的HAL库驱动包中的说明:补充:HAL库使用主线外设初始化外设使用。

qq_25218501的博客 1984

开发H5游戏引擎的选择:Egret或Laya?

一、H5游戏开发的引擎介绍开发H5游戏的引擎有很多,比如egret、laya、cocos-js等等。这里主要是分析的是egret和laya,因为我们团队是从as3转过来的。所以天然地在有as3基因的egret和laya之中挑选一个。 Egret Egret Framework是一款使用JavaScript(TypeScript)编写的HTML5开源免费游戏框架。核心定位是开放,高效,优雅。基于

弃天笑的程序世界 7万+

汇丰外包Java岗面试复盘:Zoom面1.5小时,从英语、粤语到现场敲代码的极限挑战

本文详细记录了汇丰银行外包Java岗位的面试全过程,包括多语言切换(英语、粤语)的技术沟通挑战和现场编码测试的实战经验。从高并发编程到JVM调优,面试不仅考察技术深度,更注重实战问题解决能力。文章分享了应对跨国银行技术面试的实用策略,帮助Java开发者在跨文化环境中提升竞争力。

weixin_42524824的博客 363

2025软考信息安全工程师真题

2025信息安全工程师软考真题

qq_40424393的博客 1711

Laya是什么,和Jev有什么区别:两大爆火开源决策模型深度对比解析

Laya是用开源抢回概念的一次闪电战:与Jev同范式,更快更准免费,但需微调。据2026年9月中文媒体与实测,typed任务选Laya,高基数开箱选Jev。本文基于2026年9月数据,接口仍在0.1到0.3快速迭代,以仓库为准。

aidoudoulong的博客 1886

软硬件协同设计的大小端问题

缘起 最近需要在soc系统内做协处理器,加速AES加密运算,寄存器一次读取32bit,AES一次处理128bit,因此在数据拼接的时候,需要考虑大小端的问题,特来记录一番。 一、什么是大小端 大小端的问题发生在寄存器和内存间传递数据,这点非常重要,很多地方简单地说是数据存储方式,其实不准确。追根溯源,大小端问题是在设计load,store指令的时候考虑的,因此本质是寄存器和内存交互的问题,其他地方不会发生。 比如c语言里定义一个变量int a=ox1234,那么查看在线汇编平台的对应汇编代码: # 给2号寄

http://www.icfgblog.com/ 615

一文告诉你市面上最火的游戏都是用什么引擎做的!!!

王者荣耀是用什么开发的?编程语言是什么?入行要学什么?

我是香菜 1万+

声纹识别初学

最近开始关注声纹识别技术,发现国内做这个的确实没有几家,而且大多重点推声纹认证,用在公安司法金融领域,而我却关注文本无关的声纹识别,这里把我搜到的一点资料汇总在此. 发现njustzj001的专栏有两篇文章适合入门的我,贴下链接: 综述:  http://blog.youkuaiyun.com/xmu_jupiter/article/details/47209961 PLDA解释:  http://

u013452331的专栏 2761

RK3588开发笔记-Hailo AI模块调试

本文详细介绍了在RK3588开发板上调试HailoAI模块的全过程。首先概述了RK3588处理器的强大性能(4核A76+4核A55,6TOPS算力)和Hailo-8 AI加速模块的特点,重点阐述了通过PCIe接口连接两者的硬件方案。调试步骤包括:确认内核PCIe配置、编译Hailo驱动、下载固件文件并部署到指定目录,最后通过运行resnet模型验证模块性能(实测FPS达2456)。文中提供了完整的软件包下载地址和GitHub源码链接,为开发者实现类似AI加速方案提供了实用参考。

flypig has a dream! 966

用 Laya 决策模型(JEV 的开源实现)做一个智能家居决策 Demo

本文记录了一次用 **Laya(JEV 决策模型的开源实现)** 构建智能家居决策 Demo 的完整实践。核心思路是**不接 NER,把「意图 + 所有槽位」全部建模成 Laya 的决策原语**(choice / noul / score),一次 `decide(text)` 调用即可同时得到意图、设备、时间、食谱、可执行性、紧急度等结构化结果,且每个决策都带置信度。项目采用「React + Vite 前端 / FastAPI 后端」架构,后端以**真实模型优先 + 规则兜底**保证页面始

qq_50990903的博客 417

在 SAP 系统中设置成本中心(Cost Center)和利润中心(Profit Center)需在管理会计(CO)模块中完成,涉及主数据创建、组织结构配置等步骤

本文详细介绍了SAP系统中成本中心和利润中心的设置流程。成本中心设置包括:配置成本控制范围、定义标准层次结构、创建主数据(KS01/KS02/KS03)等步骤。利润中心设置需先激活利润中心会计功能,再定义标准层次并创建主数据(KE01/KE02/KE03)。关键是将成本中心与利润中心关联,实现成本数据自动流向利润中心。最后可通过相关报表验证设置是否生效。整个流程强调主数据创建和组织结构关联,以实现成本归集和利润分析功能。

金牌架构师 2228

千万别硬上:Laya 做不了文本生成,这四类任务用它就是灾难

Laya 最近在中文技术社区热度不低:33ms 一次决策、421M 参数、Apache 2.0 开源权重、单次前向传播返回带数学校准概率的结构化答案,外加内置 Router 覆盖 100+ 语言——这套"非自回归 System 1 决策引擎"的叙事,让不少团队动了"什么任务都塞给它"的念头。但社区里反复出现的共识其实非常明确:**Laya 是"不做生成只做决策"的专用引擎,不是万能模型**。硬上的

gitblog_00163的博客 164

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

为什么必须留在BF16:MiniMax-H3-Image-FP8的敏感层量化教训,LPIPS从0.255恶化到0.308

MiniMax-H3-Image-FP8 是 1600 万像素开源文生图模型 MiniMax-H3-Image 的 **FP8/INT8 量化版权重**,把 66.3 GB 的 BF16 DiT 压缩到 20.27 GB,让 24 GB 显存的显卡也能跑起来。这篇文章讲清楚一个关键教训:**哪些层是"敏感层",必须留在 BF16**——如果把它们也量化,LPIPS 会从 0.255 恶化到 0.3

gitblog_00797的博客 180

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【Jev / Laya】System 1 决策模型深度拆解:一次前向出决策的原理、指标核对与本地部署

把大模型当分类器用,是这两年最普遍也最别扭的工程实践——让一个生成系统吐 JSON,再用正则解析回结构化字段,幻觉和解析失败都成了常态。Jev(TypeSafe AI)和 Laya(ConvAI Innovations)代表另一条路线:不做文本生成,给定状态和类型化问题,一次前向直接返回概率分布与置信度。Jev 是闭源托管 API,Laya 是 Apache-2.0 开源、可完全离线的 421M 编码器模型,两者接口兼容。本文拆解双方实现原理、逐项核对公开指标、给出适用边界与从零部署的完整命令。

格物致知 999

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Jev、Kev、Laya 三层链路怎么选?先算清“决策成本”,再决定要不要微调

最近 AI 圈有个挺反常识的热闹:大家不再比谁家模型更能写文章,而是比谁家的模型“更会做选择题”。 从 TypeSafe 的 Jev 带火“不生成一个字、直接给判断”的新玩法,到开源社区 48 小时内冒出一堆复刻版,再到 Laya、Kev 这些名字轮番刷屏,很多团队的第一反应是:**我是不是也该微调一个?** 先别急。真正踩过坑的人都知道,这类项目的钱和命,八成不是花在训练上,而是花在“选错了

gitblog_00204的博客 125

Laya:基于RLCD技术的决策引擎,推理快、成本低,多项指标超越TypeSafe Jev

从发表论文至今的研究表明,并非所有人工智能问题都需自回归聊天机器人解决。基于RLCD技术的Laya模型执行速度快、不产生幻觉、支持全球语言路由、提供真实置信度分数,且完全开源。

IT界那些事儿 606

Laya 开源两周刷屏中文圈:不聊天的模型凭什么冲上 1.5k star

当「不聊天的 AI 模型」成为 2026 年中文技术圈最烫的关键词,Laya 大概是这波浪潮里最典型的样本:421M 参数、单次前向推理 33ms、Apache 2.0 全量开放,被中文社区直接冠以「Jev 平替」的标签,开源两周即冲上 1.5k star。这串数字背后,是一条从闭源 API 到开源仓库、再到端侧工程的完整传播链路。本文结合全网社区情报与仓库源码,复盘这场刷屏的时间线、拆解四个核心

gitblog_01126的博客 29

Jev 被刚出来的开源 Laya 超越?

2026年9月,ConvaiInnovations开源Laya——一个基于ModernBERT的非自回归System1决策模型,支持choice、score、noul三类结构化输出,具备高延迟(单题32.8ms)、低成本与Apache2.0许可优势。相较闭源的Jev,Laya在速度、开放性与部署灵活性上占优,但准确率表现依赖微调与温度校准。独立测试显示其在中文工单上准确率低于Jev,且多标签任务中表现受限。建议根据需求选择:高吞吐、数据敏感场景选Laya;复杂工作流可级联使用。版本迭代快,生产需锁定版本并自

会飞的架狗师的博客 256

把“决策“从 API 里抢回来:开源 Laya 正在终结闭源判断服务时代

2026 年下半年,AI 圈出现了一个微妙但重要的转向:当所有人都在卷更大的生成式模型时,一类"不做生成、只做判断"的决策模型悄然崛起。闭源厂商 TypeSafe 推出的 System 1 模型 Jev 以"不聊天的 AI 模型"之名引发关注,单次判断 236–276ms 的 API 调用按量计费;而开源社区几乎在同步证明一件事——这类"快判断"的护城河并没有想象中厚。 开源决策引擎 Laya

gitblog_00381的博客 54

Jev 王座一周三连击:Laya 开源、StartLux 登顶、Cloudflare 携 Clef 下场

过去七天,"System 1 决策模型"这个此前只有少数人关心的细分赛道,成了开源圈最热闹的战场。先是 ConvAI Innovations 开源了 421M 参数的非自回归决策引擎 Laya,把 TypeSafe 闭源的 Jev 直接拉进了同台对比;紧接着"StartLux 冲上排行榜第一"的消息开始在全网流传,36 氪、智源社区、53AI 等多个平台集中转发;而 Cloudflare 带着自研

gitblog_00432的博客 83

Jev 发布 3 天后,开源平替 Laya 来了:快 8 倍,权重全开

Jev发布三天后,开源模型Laya迅速跟进,基于非自回归编码器实现毫秒级决策,单次判定速度达32.8ms,较Jev快近8倍,且支持多语言、零输出成本。其校准误差仅0.081,优于Jev的0.246,但在高类别分类任务中表现逊色。社区还涌现Nimble、APUS等复现方案,推动“快判断”范式爆发。然而,面对长链推理、状态回溯等复杂场景,决策模型仍易翻车。专家建议:将大模型用于深度推理,决策模型专攻快速判断,实现“快慢分工”。

huanxingchen1的博客 372

421M 参数、33ms 出决策:Laya 开源即爆火,一场围绕 Jev 的「快 4 倍」数字战开打

2026 年 9 月,一个叫 Laya 的开源项目在国内技术社区突然刷屏。今日头条的标题直白得近乎挑衅——《Laya 开源:比Jev快4倍!421M 参数,33 毫秒完成一次 AI 决策》;优快云 上一口气冒出十余篇教程与解析,从「33 毫秒出决策」到「不生成文本消灭幻觉」,再到「快 TypeSafe Jev 一个数量级」,叙事层层加码;Google 新闻里还能看到 Laya 被移植到 Appl

gitblog_00225的博客 217

手把手:用 Laya 给智能家居装一个 207ms 的“决策中枢“

"帮我半小时后关掉客厅的灯。" 话音刚落,灯灭了——不对,是全屋的灯都灭了。 这大概是每个智能家居玩家的噩梦。设备是挺多,音箱也喊得动,可一碰上"带条件的、带对象的、带时间的"复杂指令,机器就翻车:要么听不懂,要么听一半,要么干脆装死。 直到最近,开源圈一个叫 **Laya** 的决策模型火出了圈。有网友直接拿它给智能家居做了一个"指挥大脑":你说一句大白话,它 **207 毫秒**内就能把"

gitblog_00856的博客 180

每日热评|Laya|非自回归System1决策引擎:单次前向33ms,覆盖100+语言

绝大多数 AI Agent 的轻量判断任务(意图识别、人工转接判定、模型路由、内容预审),当前普遍依靠自回归大模型:输入 Prompt → LLM 生成自然语言 → 代码解析文本拿到判断结果。 这套链路**解码循环开销巨大、Token 浪费严重、延迟高**。 Laya 主打**非自回归 System 1 决策引擎**,不走逐 Token 解码,单次前向传播直接输出带概率校准的分类决策,官方端到端延迟中位数**33ms,0 输出 Token**,原生支持 100 + 语种。

TunerT_TQ的博客 736
上一篇: 基于 vLLM + RTX 4090 部署 Qwen3.8-27B-W4A16-AWQ 实战指南
下一篇: Jev:不写一个字、只做判断的 TypeSafe System One 模型
agenticops
博客等级 码龄19年 0粉丝 15原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值