MariLN的博客

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能。随着技术的发展，多模态学习的重要性和必要性已经慢慢展现。视觉语言学习作为多模态学习的重要部分，得到国内外研究人员的广泛关注。得益于Transformer框架的发展，越来越多的预训练模型被运用到视觉语言多模态学习上，相关任务在性能上得到了质的飞跃。

VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型。依靠来自于 CogView 数据集的 30M 高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练，中英文权重相同。模型在微调阶段使用长视觉问答数据进行训练，以生成符合人类偏好的答案。它由 SwissArmyTransformer（简称sat）库训练，这是一个支持 Transformer 灵活修改、训练的工具库，支持Lora、P-tuning等参数高效微调方法。

在深度学习中，微调（Fine-tuning）是一种重要的技术，用于改进预训练模型的性能。在预训练模型的基础上，针对特定任务（如文本分类、机器翻译、情感分析等），使用相对较小的有监督数据集对模型进行进一步训练的过程。预训练模型学习到了语言的一般规律，如语法、语义等知识，通过微调，模型可以利用预训练过程中学习到的知识，并结合特定任务的数据，在该任务上达到更好的准确率、召回率等性能指标。