年轻即出发，

ImageBind 规避了这个难题，它利用最近的大型视觉语言模型它将最近的大规模视觉语言模型的零样本能力扩展到新的模态，它们与图像的自然配对，如视频 - 音频和图像 - 深度数据，来学习一个联合嵌入空间。通过这样的训练方式，即使没有进行过（声音，文本）的专门训练，也可以取得SOAT的（声音，文本）分类能力。该研究不需要所有模态相互同时出现的数据集，相反利用到了图像的绑定属性，只要将每个模态的嵌入与图像嵌入对齐，就会实现所有模态的迅速对齐。左后算loss的时候和clip一样，也是对称的交叉熵。

通过分析发现预训练模型clip是基于2D线性投影训练的，却作为3D线性投影的初始化参数，这导致模型没有学习视频帧间的时序特征。模型为12层，宽度为512，包含8个注意力头。将文本特征W和视频特征Z拼接起来，得到拼接后的特征U，并将U和位置编码P，类型编码T进行拼接，输入Transformer进行编码，然后使用2个全连接层做特征投影，得到最终的输出。根据文本到视频检索中的相似性得分对给定查询本文的所有视频（或视频片段）进行排序，或者在视频到文本检索任务中对给定查询视频（或视频片段）的所有文本进行排序。

在模型上一共尝试了8个模型，从resnet到ViT，最小模型和最大模型之间的计算量相差约100倍，迁移学习的效果基本和模型大小成正相关。（3）Clip的(image, text)对都是一一配对的，一个图片只对应一个句子，所以这里也没有像一个图片对应多个句子，可以对句子进行随机采样操作。（1）在训练过程中，文本的主干网络和图片的主干网络都没使用类似ImageNet的预训练权重做初始化，全部都是随机初始化的。Clip模型训练数据都是网络爬取的，缺乏数据的过滤和筛选，会存在社会歧视问题。