
1.3B激活参数“以小博大”,评分紧咬26B大模型
在Artificial Analysis Intelligence Index评价体系中,Ling-3.0-tiny获25分,仅比Gemma-4-26B-A4B低1分,高于gpt-oss-120B(high)等。它有7.9B总参数,每个Token仅激活1.3B参数,以低计算规模进入主流4B至12B级模型综合能力区间,具备进入多应用的能力基础。
Agent评分超31B大模型,输出速度超160 tokens/s
Ling-3.0-tiny在真实任务与Agent执行方面突出,Artificial Analysis Agentic Index得分为16,高于Gemma-4-31B。在IMO-AnswerBench和非幻觉率指标领先,多任务表现均衡。综合智能指数25分时,输出速度超160 tokens/s,输出500个Token端到端用时约18秒,小激活规模提升响应效率。
站在DeepSeek、Kimi肩膀上创新架构,降低本地部署门槛
Ling-3.0-tiny延续技术路线并优化,总参数量7.9B,每个Token激活参数量1.3B。采用3:1 KDA - MLA架构,MoE部分设128个稀疏专家,每个Token激活8个路由专家和1个共享专家。采用原生混合推理机制和Multi-Token Prediction训练目标,减少计算资源,降低部署和开发门槛,让轻量模型接入真实Agent工作流。
从DGX Spark到MacBook,三个精度版本覆盖不同设备
Ling-3.0-tiny开源BF16、FP8和INT4三个版本,开发者可按需选部署方案。BF16适用于研究评测和生产应用;FP8平衡效果、速度和资源占用;INT4面向有限本地环境。模型能覆盖不同设备,可接入多种工作流并保留数据在本地。
- DGX Spark:单机可支撑小规模本地服务,运行FP8推理,单请求稳态解码速度约100至105 tokens/s,两路并发聚合解码吞吐约161 tokens/s,可搭建本地模型服务,有多种潜在应用,Demo验证了应用潜力。
- MacBook:首Token响应低于100毫秒,已完成本地运行适配,可用于多方面,FP8版本降低资源需求、提高生成速度,能承担高频本地交互任务。
- Mac mini:变身常驻式本地智能节点,部署方案可延伸至此,适合低功耗、常驻式服务,可用于划词翻译等,离线运行提供低延迟响应。
结语:下一步将补强事实准确性和长程Agent稳定性
百灵称将增强Ling-3.0-tiny的长尾知识覆盖和事实准确性,提高复杂工具调用及长程Agent任务的稳定性,优化多方面能力,改善推理能力、响应时间和任务成本平衡,完善版本适配和文档,建设轻量模型生态。
465



被折叠的 条评论
为什么被折叠?



