2025_NIPS_Language Is Not All You Need: Aligning Perception with Language Models

文章核心总结与翻译

一、主要内容

本文聚焦于从大型语言模型（LLMs）向多模态大型语言模型（MLLMs）的演进，提出并构建了多模态大型语言模型KOSMOS-1。该模型以Transformer为基础架构，通过在网页级多模态语料库（含文本数据、图像-文本对、交错式图文数据等）上从头训练，实现了对通用模态的感知、上下文学习（少样本）和指令遵循（零样本）能力。

研究对KOSMOS-1在多类任务中进行了全面评估，包括语言理解与生成、无OCR自然语言处理、图像描述生成、视觉问答、零样本图像分类、非语言推理（雷文智商测试）等，均取得了优异性能。同时，验证了模型的跨模态迁移能力——既能从语言模态迁移至多模态任务，也能从多模态迁移至语言任务，且通过多模态思维链提示等技术进一步提升了复杂任务处理效果。

二、创新点

1. 架构创新：将Transformer-based语言模型作为通用接口，对接感知模块，实现了模态感知与语言模型的对齐，原生支持语言、感知-语言及视觉任务，打破了传统LLMs仅能处理文本的局限。
2. 数据与训练创新：采用网页级规模的多样化多模态语料库进行训练，涵盖交错式图文数据等特殊类型，并通过纯语言指令微调提升跨模态指令遵循能力，训练目标聚焦于下一个token预测，兼顾了模型 scalability 与能力涌现。
3. 能力拓展与验证：首次实现了MLLM在雷文智商测试中的零样本非语言推理，验证了模型捕捉抽象视觉模式的能力；支持无OCR的语言理解任务，无需外部工