论文阅读笔记——MetaMorph: Multimodal Understanding and Generation via Instruction Tuning

MetaMorph 论文
LLaVA 提出了视觉指令微调，表明 LLM 已经具备一定视觉理解能力，只需通过轻量微调激活；类似地，MetaMorph 认为 LLM 具备一定视觉生成能力，同样可通过轻量微调激活。

标准的指令微调的输入序列为：$(P_i,R_i{)}_{i=1}^N$ 其中 $P_i$ 为第 i 轮对话中的提示（Prompt），$R_i$ 是响应（Response）。VPiT（MetaMorph）在此基础上扩展为包括文本和图像的多模态输入：文本数据——通过标准 LLM 分词器，图像数据——使用 SigLIP 将图像编码为连续的视觉标记，并插值到固定数量（m=64）个标记，再使用一个可训练的投影层对齐 LLM输入维度。（添加 $<imag{e}_{s}tart><imag{e}_e$