多模态论文笔记——Coca

已于 2025-01-05 14:05:38 修改
阅读量1.3k 收藏 20
点赞数 26
分类专栏： 多模态论文笔记 文章标签： 论文阅读 机器学习 人工智能 深度学习 aigc coca 多模态
于 2025-01-02 10:26:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haopinglianlian/article/details/144879290
版权

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍多模态模型Coca，在DALL·E 3中使用其作为captioner基准模型的原因和优势。

在这里插入图片描述

文章目录

首先我们需要知道Coca是主要用于图像生成文本的。在此之前，我们已经介绍了BLIP和BLIP2，但是BLIP模型生成的文本描述较为简单，模型训练则需要更详细、准确的图像描述或字幕。本文将介绍一个新模型Coca（Contrastive Captioners，谷歌出品），OpenAI的DALL·E 3在处理图像-文本训练数据集就是基于谷歌的CoCa模型，微调一个image captioner，用来合成图像的caption。

DALL·E 3介绍参考DALL·E系列文章：DALL·E 3模型及其论文详解

了解本专栏 订阅专栏 解锁全文 超级会员免费看
多模态论文笔记——CogVLM和CogVLM2
haopinglianlian的博客
01-02 1888
本文详细介绍LoRA版本的多模态模型——CogVLM和CogVLM2。在SD3中使用其作为captioner基准模型的原因和优势。
多模态论文笔记——U-ViT（国内版DiT）
haopinglianlian的博客
01-05 1936
本文详细介绍U-ViT的模型架构和实验细节，虽然没有后续的DiT在AIGC领域火爆，但为后来的研究奠定了基础，但其开创性的探索值得学习。
COCA模型参数，预训练模型
08-06
COCA模型参数，预训练模型
谷歌最新多模态模型CoCa，多项任务取得SOTA效果，ImageNet达到91.0%
zenRRan的博客
05-10 3756
每天给你送来NLP技术干货！来自：圆圆的算法笔记作者：Fareise最近谷歌提出了最新多模态预训练方法CoCa，在图像分类、图文检索、看图说话、VQA等多个任务都取得了SOTA效果。CoCa可以说融合了历史图像模型、多模态模型训练范式为一体，融合了多种训练范式的优点，具有非常广泛的适用场景。同时，模型的核心结构和设计思路也比较优雅简洁。下面带大家了解一下这篇谷歌最新多模态...
【论文阅读】多模态模型CoCa
orangerfun的博客
11-21 1407
在这项工作中，我们统一了单编码器、双编码器和编码器-解码器范式，并训练了一个包含三种方法优点的图像-文本基础模型。我们提出了对比Captioner模型(CoCa)，该模型采用经过对比损失和captioning损失训练的编码器-解码器架构。如图1所示，我们将Transformer解码器解耦为两部分，分别是单模态解码器和多模态解码器。我们省略了单模态解码器中的交叉注意力来编码纯文本表示，并用交叉注意力将图像编码器的输出和多模态解码器级联起来，以学习多模态图像-文本表示。
多模态（二）--- CoCa原理与源码解读
weixin_42454048的博客
02-05 1618
CoCa代表Contrastive Captioner 的缩写，代表模型用两个目标函数训练出来的，一个是Contrastive Loss，一个是Captioning Loss。
多模态论文笔记合集
haopinglianlian的博客
11-28 2187
本笔记的任务是解读多模态论文/面试过程中可能会用到的知识点，内容通俗易懂，入门、实习和校招轻松搞定。
[论文解读]本文介绍了EVA-02，一种基于Transformer的视觉表示模型，通过掩码图像建模（MIM）预训练来重建强大且稳健的语言对齐视觉特征。
强化学习曾小健
11-16 1191
本文介绍了EVA-02，一种基于Transformer的视觉表示模型，通过掩码图像建模（MIM）预训练来重建强大且稳健的语言对齐视觉特征。
谷歌提出超强预训练模型CoCa，在ImageNet上微调Top-1准确率达91%！在多个下游任务上SOTA！...
我爱计算机视觉
06-10 1332
关注公众号，发现CV技术之美本文分享论文『CoCa: Contrastive Captioners are Image-Text Foundation Models』，Google Research提出超强预训练模型CoCa，在ImageNet上微调Top-1准确率达91%！在多个下游任务上SOTA！详细信息如下：论文链接：https://arxiv.org/abs/22...
多模态之CoCa—对比+字幕生成，统一单模态、视觉语言理解和生成任务，细节理解与论文详细阅读：Contrastive Captioners are Image-Text Models
小小帅
04-19 1762
探索大规模预训练基础模型在计算机视觉领域具有重要意义，因为这些模型可以快速转移到许多下游任务中。介绍CoCa模型的主要特点：（对比式损失+字幕损失，同时实现理解+生成任务）本文介绍了对比式字幕生成器 (CoCa)，这是一种简约的设计，用于联合对比式损失和字幕损失预训练图像-文本编码器-解码器基础模型，从而将对比式方法（如 CLIP）和生成式方法（如 SimVLM）的模型功能归入其中。介绍CoCa模型的具体细节：（encoder-decoder构造）
Coca：对比字幕是图像-文本基础模型
qq_52679708的博客
12-24 663
COCA：对比字幕是图像-文本基础模型
CoCa论文笔记
hello_dear_you的博客
11-02 1204
多模态CoCa论文阅读笔记
多模态系列论文--CoCa 详细解析
lansebingxuan的专栏
07-08 4149
CoCa代表Contrastive Captioners的缩写，代表模型用两个目标函数训练出来的，一个是Contrastive Loss，一个是Captioning Loss。本文因为数据集更大，模型也更大，所以它的效果很好，在多模态所有的任务均SOTA，而且在单模态里，在ImageNet上也得到了90以上的Top1准确度，在视频动作识别领域，在Paper with Code上CoCa在K400、K600、K700这些数据集上排名前三。
【多模态】26、视觉-文本多模态任务超详细介绍 「CLIP/LSeg/ViLD/GLIP/ALBEF/BLIP/CoCa/BEIT」
呆呆的猫的博客
08-20 6954
本文主要介绍典型的图文多模态任务
CoCa算法详情
m0_56974354的博客
05-31 1501
简单讲一下最近google公司提出的coca算法，目前用于分类任务的框架，coca算法不是简单的一个仅仅针对于图片的一个分类网络，而是结合了文本信息，目前在ImageNet数据集分类任务中达到了SOTA的效果，正确率目前是91%。 官方的GitHub链接CoCa-pytorch/setup.py at main · lucidrains/CoCa-pytorch · GitHub 该算法主要分为三部分 第一部分是对文本信息的操作，对于文本的前向传播采用的是attention操作，并且...
【有啥问啥】Contrastive Captioners(CoCa)：对比式图像描述模型——图像-文本基础模型的新范式
最新发布
Chauvin的博客
01-19 1034
随着深度学习技术的发展，多模态模型在处理视觉和语言任务方面的能力逐渐增强。特别是大规模预训练模型的兴起，使得这些模型可以快速迁移到许多下游任务中。本文深入探讨了CoCa（ContrastiveCaptioner），这是一种新的图像-文本对齐模型，旨在同时优化对比学习和图像描述的任务。通过结合对比损失和图像描述损失，CoCa能够在一个统一的框架内实现单模态、双模态以及生成任务的有效处理。
​浅析多模态大模型技术路线梳理
周红伟讲AI
03-21 4339
模型的整体框架如下所示，我们从下往上看：首先一张图片会经过视觉模块（ViT&Q-Former）进行编码得到一个图像 embedding，由于视觉模块给出的 embedding 不能够直接被语言模型理解，因此一般需要将视觉 embedding 和文本 embedding 进行对齐，这里加入了一个线性层，可以理解为这里假设图片编码器得到的输出经过一个线性层后就能够被语言模型理解了，然后将原始的文本信息和经过对齐后的图像信息拼接起来，送入 LLM，就可以实现能够接受多模态信息的 GPT 了。
多模态机器学习综述论文PPT深度分享
资源摘要信息:"多模态相关综述论文PPT分享" 1. 多模态机器学习 多模态机器学习是一个涵盖多种类型数据（模态）的领域，如文本、图像、音频、视频等。这些数据可以提供互补信息，增强机器学习模型的性能。多模态机器...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值