GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning

文章主要内容总结

本文介绍了GLM-4.1V-Thinking，这是一款由智谱AI与清华大学合作开发的视觉语言模型（VLM），旨在提升通用多模态推理能力。其核心贡献包括：

1. 模型设计与训练框架：

   • 基于视觉编码器（AIMv2Huge）、MLP适配器和大语言模型（GLM）构建，支持图像和视频的原生分辨率处理，并通过3D-RoPE增强时空理解。
   • 训练流程分为三阶段：
     • 预训练：使用大规模多模态数据（图像-文本对、学术语料、OCR数据等）构建强基础能力；
     • 监督微调（SFT）：通过长链思维（CoT）数据标准化推理格式，为强化学习奠定基础；
     • 强化学习：提出带课程采样的强化学习（RLCS），结合动态难度适配和多域奖励系统，提升跨任务性能。

2. 性能表现：

   • 在28个公开基准测试中，开源的GLM-4.1V-9B-Thinking在同类规模模型中表现最佳，超