2025_NIPS_VisionLLM: Large Language Model is also an Open-Ended Decoder for Vision-Centric Tasks

一、文章主要内容总结

本文提出了一种基于大型语言模型（LLM）的视觉中心任务框架VisionLLM，核心目标是打破传统视觉基础模型（VFM）受预定义任务格式限制的瓶颈，实现视觉与语言任务的统一建模，支持开放式、可定制化的视觉相关任务处理。

核心背景

• 现有LLM在自然语言处理中展现出强大的零样本能力和开放式任务处理能力，但由于模态差异和任务格式不同，难以直接迁移到视觉及视觉-语言任务；
• 传统视觉通用模型依赖“预训练-微调”范式，受限于预定义任务，无法灵活响应定制化需求；
• 视觉提示调优方法与LLM的语言指令格式不兼容，难以复用LLM的推理能力和世界知识。

核心架构

VisionLLM包含三大核心组件：

1. 统一语言指令：将视觉仅任务（如目标检测、实例分割）和视觉-语言任务（如图像描述、视觉问答）统一用语言指令描述，支持任务目标、输出格式等定制化；
2. 语言引导的图像分词器：将图像视为“外语”，结合文本编码器提取的语言特征与图像特征，通过跨注意力机制生成与任务相关的图像令牌（含语义和位置信息）；
3. 基于LLM的开放式任务解码器：基于Alpaca扩展词汇表（新增位置令牌、分类令牌），采用“输出格式作为查询”的解码方式，高效处理视觉感知任务，同时兼容视觉-语言生成任务。

实验结