第四期书生大模型实战营 第10关 InternVL 多模态模型部署微调实践

书生·浦语大模型全链路开源体系-第10关

为了推动大模型在更多行业落地应用，让开发人员更高效地学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为开发人员提供大模型学习和开发实践的平台。
本文是书生·浦语大模型全链路开源体系-开源开放体系课程的笔记。

相关资源

• InternLM项目地址

https://github.com/InternLM/InternLM

• InternLM2技术报告

https://arxiv.org/pdf/2403.17297.pdf

• 书生·万卷 数据

https://opendatalab.org.cn/

• 课程链接

https://space.bilibili.com/1293512903/channel/collectiondetail?sid=4017857

InternVL 多模态模型部署微调实践

多模态大模型

多模态大模型是指能够处理和理解多种不同数据模态的人工智能模型。多模态大模型基于深度学习技术，旨在处理和融合来自多种不同数据源的信息，如文本、图像、音频、视频等。这类模型通过集成多种模态的信息，能够提供更加丰富和全面的理解与生成能力。

• 模型接收来自不同模态的输入数据，例如文本、图像、音频或视频。
• 每种模态的数据都需要经过预处理，以转换成适合模型输入的格式。例如，文本数据可能被转换为词嵌入，图像数据可能被转换为特征向量。
• 通过模态嵌入层，将不同模态的数据转换为统一的表示形式，使它们能够在同一空间中进行交互。这一步骤确保了不同模态信息的一致性和可比性。
• 转换后的模态嵌入通过某种机制进行融合。融合方式可以是早期融合（在编码器阶段）或晚期融合（在解码器阶段）。早期融合在处理早期阶段就结合不同模态的信息，而晚期融合则在处理后期阶段再进行结合。
• 融合后的表示包含了所有模态的信息，能够用于后续的推理和生成任务。

InternVL2

InternVL2 是由上海人工智能实验室开发的一种视觉-语言模型，旨在理解和生成视觉与文本之间的复杂关系。InternVL2 的架构和训练流程设计旨在提高模型在跨模态任务中的表现能力。

• InternVL2 采用卷积神经网络（CNN）作为视觉编码器，用于提取图像特征。这通常包括一系列卷积层、池化层和归一化层，以捕捉图像的局部特征和全局结构。
• 视觉编码器将输入的图像转换为高维特征向量，这些特征向量将用于与其他模态的信息进行交互。
• 文本编码器用于处理和生成文本信息。
• 文本编码器将输入的文本转换为语义表示，帮助理解文本中的含义和上下文。
• 多模态融合模块将视觉和文本特征结合起来，生成一个综合的表示。
• 解码器根据融合后的表示生成输出。

使用LMDeploy部署多模态大模型

执行命令，创建一个新的虚拟环境，安装必要的库。

conda create -n internlm python=3.10 -y
conda activate internlm

conda