Apriel-1.5-15B-Thinker: Mid-training is all you need

一、论文主要内容总结

本文由ServiceNow的SLAM Lab团队提出Apriel-1.5-15B-Thinker——一款150亿参数的开源多模态推理模型，核心目标是通过优化训练设计而非单纯扩大模型规模，实现前沿性能并降低部署门槛。

1. 模型开发背景

当前大语言模型（LLMs）在通用能力、长上下文推理和多模态理解上快速发展，但存在两大落地障碍：一是隐私合规要求下的本地化部署需要“轻量且资源可预测”的模型；二是训练与推理的高成本限制了前沿能力的规模化应用。为此，团队探索“ compact（紧凑）、开源、多模态”模型能否在兼顾训练/部署经济性的同时，达到前沿推理水平。

2. 核心训练方法论（三阶段流程）

（1）架构与模型扩容（Architecture & Upscaling）

• 基础模型：以Pixtral-12B为起点（遵循LLaVA架构，含视觉编码器、双层全连接投影网络、多模态解码器）。
• 深度扩容：无需从头预训练，将解码器隐藏层从40层增至48层，使用文本数据（含“重放数据”与多领域数据，如高质量网页、技术文献、数学题、代码等）训练，同时通过“检查点平均”提升稳定性。
• 投影网络校准：冻结视觉编码器与解码器，仅训练投影网络，数据覆盖图像 caption、多模态指令响应、文档理解场景。