如何训练多模态LLMs以理解和与文本、图像、视频和音频进行交互

关注

原创最新推荐文章于 2026-07-30 14:38:57 发布 1k 阅读 AI 写同款· GEO 优化 ›

多模态大模型（LMMs）与大语言模型（LLMs）的比较现在的大模型分为两大类：大语言模型（Large Language Models，简称LLMs）和多模态大模型（Large Multimodal Models，简称LMMs）。本文将从基础定义、输入数据、应用场景、训练过程这几方面讨论下两者的区别。LLMs (Large Language Models, 大型语言模型)- 深度学习的应用之一，是基于深度学习的大规模机器学习模型，通常由数十亿到数万亿个参数构成，专门设计用于处理自然语言处理任务。阅读详情

近期，多模态大型语言模型（LLMs）因其能够理解和生成各种数据类型的内容而受到研究界和科技行业的广泛关注。

这些多模态模型建立在像Chat-GPT这样的单一模态模型的基本原则之上，整合了视觉、听觉和文本数据，使它们能够提供更丰富且更具上下文相关性的输出。

本文将提供一个关于多模态大型语言模型领域的背景及相关研究的简要概述。

1. 引言

1.1 大型语言模型（LLMs）

近年来，人工智能领域最突破性的进展之一是大型语言模型（LLMs）的发展和普及。

这些模型以前所未有的规模运作，处理大量数据以执行语言任务，准确度惊人。

LLMs的基础技术是在广泛的文本语料库上进行训练。这种方法旨在向模型提供数十亿，有时甚至数万亿的单词，帮助它理解语言结构、语义和上下文。

如图1所示，GPT-3[1]使用至少数十亿个tokens来训练语言模型。

此外，它们的参数规模也呈指数级增长。如今的LLMs以数十亿甚至数万亿的参数为傲，展示了其背后巨大的计算能力。

参数数量的增加并不仅仅是对规模的竞赛，而是具有深远的意义。参数空间越大，模型就能越多地封装庞大语言数据库的细微差别。这是一种共生关系：随着可用数据量的增加，处理和理解这些数据所需的更广阔的参数空间也在增长。

本质上，参数和数据大小的相互增长催化了这些模型的精确性和适应性，使它们成为AI技术的前沿。

在这些LLMs的背后，训练阶段使用的一个特别重要的方法是“下一个词预测（nwp）”。

“下一个词预测”是一种用于开发语言模型，尤其是LLMs的训练技术。在这种方法中，模型的任务是预测给定序列或句子中的后续单词。例如，给定短语“It’s raining cats and”，模型可能会根据其训练预测“dogs”作为下一个单词。

通过不断尝试预测不同上下文中的下一个词，模型完善了对语言结构、语义和模式的理解。由于在训练期间重复接触到无数序列，LLMs变得越来越熟练，使它们生成的文本在连贯性和上下文方面惊人地类似于人类。

1.2 指令调优尽管LLMs在大量数据集上训练后对语言有全面的理解，但它们可能不总是擅长特定任务。就像医学中的全科医生拥有广泛的知识，但可能不会执行专门的手术一样，没有微调的LLMs可能无法为特定任务提供最佳结果。指令调优旨在弥合这一差距，使LLM成为特定领域或功能的专家。

LLMs中的指令调优是一个专门的微调过程，它将模型的一般知识细化，使其擅长特定的任务或指令。在LLM经过广泛语料库的大量训练后，指令调优将这种广泛的掌握能力提炼，以更高的准确度和精确性满足特定查询或任务的需求。

与最初训练阶段让模型接触多样化的语言模式不同，指令调优使LLMs专注于遵循指令。指令调优通常采用包含明确指令的数据集，引导模型的学习轨迹。虽然初始训练优先考虑广泛的理解，但指令调优强调对特定查询的响应的准确性和相关性。

如图3所示，在之前的预训练-微调方法中，模型首先在广泛的语料库上进行初始预训练阶段，然后在更具体任务的数据集上进行微调。这项技术使模型能够利用在预训练期间获得的广泛知识，并进一步为特定任务进行精炼。

然而，这种方法通常需要大量的标注数据进行微调，并且存在过拟合到特定数据集的固有风险。

另一方面，提示（Prompting）方法避免了额外的训练。相反，模型被呈现出精心设计的提示，以引导它们产生期望的输出。这种方法因其能够避免任务为中心的微调需求以及在不同任务中的适应性而脱颖而出。

然而，寻找完美的提示有时可能是难以捉摸的，更像一门艺术而非精确科学，并且没有保证响应的精度或特异性。

最后，指令调优（Instruction-Tuning）是一种方法，它无缝融合了预训练的广泛知识基础与任务通用训练的精确性。这种协调确保了模型在所有下游任务中的熟练度。

尽管如此，类似于预训练-微调方法，指令调优可能需要伴随着明确指令的不同数据集，而在广泛知识和精确特异性之间找到正确平衡仍然至关重要。

1.3 多模态LLMsLLMs在文本相关任务中取得了令人印象深刻的进展，展示了在理解、生成和推理文本内容方面的能力。它们在解读语言的复杂性和多样化文本数据集中的细微差别方面的熟练程度确实值得称赞。

然而，LLMs领域的一个新兴挑战是它们处理多模态数据的能力。

传统上，LLMs主要设计用于处理文本数据。因此，使它们能够理解和交互处理涵盖图像、视频和音频的多模态输入，带来了重大挑战。

最近的进展提出了一种创新方法：利用LLMs强大的预训练知识库来适应多模态输入。通过这样做，希望能够对开源LLMs，如LLaMA[2]进行微调，使其不仅能够处理，还能从多种数据类型中得出有意义的解释。

这种进化旨在实现全面的多模态理解和推理，标志着向更通用和全面的AI系统迈进的重要飞跃。

在图4中，很明显Kosmos-1具有处理语言和视觉数据的能力。这允许它对多模态输入进行推理、理解和生成适当的响应。

传统上，这类上下文中使用的方法利用视觉编码器，例如Vision Transformer（ViT）[3]。ViT的主要作用是将视觉数据转换为与大型语言模型（LLMs）兼容的嵌入空间。一旦完成这一步骤，就可以利用冻结的LLMs对融合的多模态输入令牌进行推理。

1.4 多模态LLMs的训练过程LLMs主要设计用来处理和加工文本数据。另一方面，预训练的视觉编码器独特地定制用来管理和解释图像数据。鉴于它们输入模态的不同性质，整合两者需要专门的方法论。

为了弥合这一差距，当前的多模态LLMs采用一种策略性的过程，在这个过程的初期，它们首先将图像嵌入与LLM嵌入空间对齐。这种对齐通过密集的多模态预训阶段实现。在这一阶段，重点强调自回归学习。这种方法涉及使用广泛且多样的图像-文本配对来训练系统。

这背后的想法是教导LLM将图像与其文本描述关联起来。通过为它呈现的每张图像生成准确且相关的标题，训练LLM从图像中提取关键语义。这种做法确保了当呈现一个新的或不熟悉的图像时，LLM能够识别其核心元素并将它们转化为连贯的、描述性的标题。

在此之后，有一个进一步的精炼阶段称为指令调优。为此，数据集专门构建为多模态的性质。这些独特的数据集包含指令、图像和相应的文本的混合。通过在这样的数据集上训练，多模态LLMs不仅熟悉图像，还熟悉与它们相关联的类人指令。这最终导致一个复杂的系统，允许多模态LLMs以类似于标准LLMs的方式处理和响应指令。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述