https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向

本文将直接使用 Qwen2.5-VL-7B-Instruct 模型在 coco_2014_caption 数据集上进行LoRA微调训练，旨在熟悉Qwen2.5-VL数据处理和训练流程。GitHub地址：https://github.com/Donvink/Qwen2.5-VL-Finetune

近年来，随着更大规模的预训练语言模型的应用，我们在许多自然语言处理（NLP）基准任务上看到了更好的结果。然而，训练大型和深层神经网络是一个具有挑战性的任务，因为它需要大量的GPU内存和较长的训练时间。单个GPU工作节点的内存是有限的，而许多大型模型的规模已经超出了单个GPU的能力范围。为了在多个GPU之间进行模型训练，出现了几种并行化范式，以及各种模型架构和节省内存的设计，帮助实现对非常大的神经网络的训练。

本文介绍基于Transformer Encoder-Decoder的BLIP、CoCa和BEITv3

近几年，尤其是 CLIP 出现以来，多模态学习的发展异常火爆。除了传统的视觉问答、图文检索、图像描述等，还有受启发于 CLIP 的新任务 Language Guided Detection/Segmentation、文本图像生成、文本视频生成等。

本文介绍将CLIP应用于视频、语音及其他领域的技术。

CLIPasso获得了2022年的SIGGRAPH最佳论文奖，其论文题目Semantically-Aware Object Sketching，意思就是语义感知的物体素描。从下面包含有毕加索（Picasso）名画的这张图，可以看出CLIPasso就是CLIP和毕加索的缩写，这些都表明了这是一篇研究从图片生成简笔画的文章。

本文主要介绍将CLIP应用于目标检测领域的两篇论文：ViLD和GLIP

本文主要介绍将CLIP应用于语义分割的LSeg和GroupViT两篇论文

CLIP的英文全称是Contrastive Language-Image Pre-training，即一种基于对比文本-图像对的预训练方法或者模型。CLIP是一种基于对比学习的多模态模型，与CV中的一些对比学习方法如moco和simclr不同的是，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里希望通过对比学习，模型能够学习到文本-图像对的匹配关系。