#今日论文推荐# ECCV 2022 | 视频理解新框架X-CLIP：仅用微调的成本，达到预训练的全能

#今日论文推荐# ECCV 2022 | 视频理解新框架X-CLIP：仅用微调的成本，达到预训练的全能

如何将现有的图像 - 文本多模态大模型（例如 OpenAI CLIP）用于视频内容理解，是一个非常实用且具有前景的研究课题。它不仅可以充分挖掘图像大模型的潜力，还可以为视频大模型的设计和研究铺平道路。
在视频内容理解领域，为节省计算 / 数据开销，视频模型通常 「微调」图像预训练模型。而在图像领域， 最近流行的语言 - 图像预训练模型展现了卓越的泛化性，尤其是零样本迁移能力。那么人们不禁要问：能否有一种视频模型兼顾「微调」 的高效和 「语言 - 图像预训练」的全能？答案是可以！
为解决此问题，来自微软的研究者提出了将语言 - 图像预训练模型拓展到通用视频识别的方法，在建模时序信息的同时，利用类别标签文本中的语义信息。该方法在 Kinetics-400/600 数据集上分别取得了 87.7% 和 88.3% 的 Top-1 分类准确率，计算量仅为ViViT 和 Video Swin的十几分之一，并且在 few-shot 和 zero-shot 评测上大幅领先其它方法。代码已开源。

论文题目：Expanding Language-Image Pretrained Models for General Video Recognition
详细解读：https://www.aminer.cn/research_report/62f3ac567cb68b460f000747https://www.aminer.cn/research_report/62f3ac567cb68b460f000747
AMiner链接：https://www.aminer.cn/?f=cs