【阅读笔记】技术前沿（视觉-语言预训练、能量模型）

已于 2022-04-21 11:38:45 修改
阅读量2.2k 收藏
点赞数 1
分类专栏： 阅读笔记 NLP 文章标签： 自然语言处理 人工智能
于 2022-04-21 11:17:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Amber_7422/article/details/124314992
版权

1. 视觉-语言预训练 (Vision-Language Pre-training，VLP)

预训练模型，生成图像标注，视觉问答

- 模型角度，基于编码器-解码器的模型在「图文检索」task中尚未成功实践

- 数据角度，SOTA：CLIP、SimVLM 文本噪声问题严重

本文提出 BLIP（Bootstrapping Language-Image Pre-training），用于统一视觉 - 语言理解和生成任务，通过自展标注（bootstrapping the captions），可以有效地利用带有噪声的 web 数据，其中标注器（captioner）生成标注，过滤器（filter）去除有噪声的标注。

论文地址：https://arxiv.org/pdf/2201.12086.pdf

代码地址：https://github.com/salesforce/BLIP

试玩地址：

最低0.47元/天 解锁文章
『大模型笔记』视觉语言模型解释
AI新视界
04-16 2096
视觉语言模型是指能够从图像和文本中学习的多模态模型。这类模型属于生成模型，能够接收图像和文本输入，并产生文本输出。大型视觉语言模型具备优秀的零样本能力，能够广泛适应多种图像类型，如文档、网页等，并且表现出良好的泛化性。应用场景包括图像聊天、图像识别指导、视觉问答、文档理解和图像描述等。部分视觉语言模型还能识别图像中的空间属性，例如，在被要求检测或分割特定对象时，能够输出边界框或分割蒙版，或定位不同实体并回答关于它们的相对或绝对位置的问题。
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-20
09-20 2113
计算机人工智能前沿进展，大语言模型LLM, 2024-09-20 论文速读， 计算机前沿技术，人工智能算法，大语言模型，LLM，提示词，最新论文阅读
【Vision-Language】VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
Baigker的博客
12-16 2404
链接：https://arxiv.org/pdf/2111.02358.pdf 简介 首先我们做一些背景介绍，什么是vision-language？ 众所周知，目前人工智能涉及一个领域叫：多模态学习。简单而言，这个领域研究的重点在于如何将两种不同的东西联系起来，一起学习知识。比如： 不同媒介：图像和文字，视频和语音 不同语言：汉语和英语 因此 vision-language（VL）就是研究视觉与语言的联系，比如：给一张图片让计算机生成一段描述文字（图像描述生成，Image Caption）；给一张图片让
VLP: A Survey on Vision-Language Pre-training
qq_52679708的博客
10-22 760
在计算机视觉与自然语言处理预训练模型层出不穷的今天，多模态预训练模型也悄然浮出水面。本篇综述是第一篇关于视觉-语言预训练（Vision-Language Pretraining）的综述，介绍了VLP的最新进展和新领域，包括了图像-文本和视频-文本的预训练。整篇综述从以下5个方面对视觉-语言预训练进行了详细的阐释
Scaling Language-Image Pre-training via Masking（通过掩码技术扩展语言-图像预训练）
最新发布
qq_54991537的博客
03-09 911
目前已经出了CLIP模型，但是他们的计算量太大了，作者这里给了一个减少计算量的模型，它能够比CLIP减少很多计算量，并且保持很好的性能。作者利用了bert的思想，在训练过程中随机移除大量图像块，这样的话我们的模型可以学习到更多的知识。最后的FLIP模型达到了，相同数据量更好的效果，相同的效果，更少的数据量。CLIP很好，但是我们的FLIP比他更牛逼。（我们可以在相同的算力情况下，增加更多的数据集）
【论文精读】VLP-MABSA —— Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis
"You are worthy! You can do it!"
02-05 2265
本篇论文发表于ACL-2022原文链接源码模态：图像+文本基于多模态方面的情感分析(MABSA)近年来越来越受到关注。然而，以前的方法要么(i)单独使用预训练的视觉和文本模型，忽略了跨模态的对齐;要么(ii)使用预训练的视觉语言模型，这些模型带有一般的预训练任务，这不足以识别细粒度的方面、观点及其跨模态的对齐。本文提出了一个针对MABSA的任务特定的视觉语言预训练框架(VLPMABSA)，这是一个统一的多模态编码器-解码器架构，用于所有预训练和下游任务。
论文笔记：Unified Vision-Language Pre-Training for Image Captioning and VQA
weixin_44140339的博客
12-07 2242
论文地址 代码 本文提出了一个统一的视觉语言预训练（VLP）模型。 该模型的统一之处在于： （1）它可以针对视觉语言生成（例如图像字幕）或理解（例如视觉问答）任务进行微调； （2）它使用共享的多层Transformer用于编码和解码的网络，这与许多现有使用单独的模型实现编码器和解码器的方法不同。 Unified VLP 模型在大量图像文本对上使用两个无监督学习目标任务进行预训练：双向和序列到序列 (seq2seq) 掩蔽视觉语言预测。通过对共享Transformer网络的特定自注意力掩码进行控制，使得两个任
【深度学习】视觉-语言预训练入门指南
fengdu78的博客
02-02 905
Datawhale干货作者：张义杰 单位：中国移动云能力中心前言视觉-语言 (Vision-Language, VL) 是计算机视觉和自然语言处理这两个研究领域之间形成的交叉领域，旨在赋予 AI 系统从多模态数据中学习有效信息的能力。受 NLP 预训练语言模型（如BERT\GPT等）的启发，视觉-语言预训练 (Vision-Language Pre-training, VLP) 逐渐受到关注，...
自然语言处理-基于预训练模型的方法-笔记
09-01
该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个层面。 一、自然语言处理任务体系 NLP任务分为不同的层级和类别，如语法分析、语义理解、情感分析等。研究层次则...
Power-LLaVA：大语言模型结合视觉技术，提升检测效率 !
lhx17673139267的博客
08-09 1334
在过去的几年里，电力传输线路的检查已经取得了显著的成就，这主要得益于深度学习技术的融合。然而，当前的检查方法在泛化和智能化方面仍然存在困难，这限制了它们进一步的应用。在本文中，作者介绍了Power-LLaVA，这是第一个专门为通过与人类对话提供专业可靠电力传输线路检查服务的大型语言视觉辅助系统。此外，作者还构建了一个大规模、高质量的专门针对检查任务的数据集。通过在构建的数据集上采用两阶段训练策略，Power-LLaVA在相对较低的训练成本下展示了卓越的性能。
awesome-vision-language-pretraining-papers:视觉和语言预训练模型（VL-PTM）的最新进展
04-22
视觉和语言预训练模型（VL-PTM）的最新进展 由（ ）维护。 2021/02/26的最新更新。 目录 基于图像的VL-PTM 表征学习 预训练不可知视觉语言表示法，NeurIPS 2019 [代码] LXMERT：从变压器学习跨模态编码器表示法，EMNLP 2019 [代码] VL-BERT：通用视觉语言表示的预训练，ICLR 2020 [代码] VisualBERT：视觉和语言的简单而高性能的基准，arXiv 2019/08，ACL 2020 [代码] Unicoder-VL：跨模式预训练的视觉和语言通用编码器，AAAI 2020 用于图像字幕和VQA的统一视觉语言预训练，AAAI 2020， [code] ，（ VLP ） 单元：学习通用图像文本表示形式，ECCV 2020， [代码] 弱监督有助于词对象对齐的出现并改善视觉语言任务，arXiv 2019/12 In
energy-based-scene-graph:场景图生成的基于能量的学习的代码发布
05-20
基于能量的场景图生成学习 该存储库包含CVPR 2021接受的论文《的代码。 环境设定 要设置具有所有必需依赖关系的环境，请遵循的步骤。 注意：默认情况下， cudatoolkit版本设置为10.0。 在计算机上创建环境时，请通过运行nvcc --version检查cuda编译器版本，并适当调整cudatoolkit版本。 运行代码时，版本不匹配会导致build失败或segmentaion fault错误。 数据集 检查以获取有关下载数据集的详细信息。 预训练模型 我们在使用基于交叉熵和基于能量的训练方法训练的Visual Genome数据集上实现了保留的VCTree模型的权重。 循证医学 CE认证 要训​​练您自己的模型，您可以从此获取预训练探棒的权重。 基于能量的场景图生成的培训 python -m torch.distributed.launch --master_port 10
预训练模型的研究现状和发展趋势
weixin_35751194的博客
02-10 589
在机器学习领域，预训练模型是指在大型数据集上预先训练好的模型，这些模型可以用来进行迁移学习，也就是在新的任务上进行微调，从而获得较好的性能。 近年来，预训练模型在自然语言处理领域取得了巨大成功，例如语言模型 BERT 和 GPT 等，在各种任务上取得了最先进的性能。同时，也有越来越多的工作将预训练模型用于计算机视觉领域，例如图像分类、目标检测等任务。 未来，预训练模型的研究仍将是一个热门话题，预计...
文献阅读笔记2 基于双目能量模型的立体图像质量评估（上海交通大学硕士学位论文）
个人学习
03-24 541
DAY0320 基于双目能量模型的立体图像质量评估（上海交通大学硕士学位） 现阶段的立体图像质量客观评估方法主要有以下两个途径：将深度信息与二维图像质量评估方法结合； 将由左右图像产生的视差图和 cyclopean 图的评价结果结合。前者试图分别得到失真深度图的评价结果和 2D 图像质量的评价结果，然后将两者结合起来产生一种新的 SIQA 方法。后者分别产生原始图像和失真图像的视差图和 cy...
万字深度好文！视觉-语言（VL）智能：任务、表征学习和大型模型
深度学习技术前沿
04-03 1039
编译丨Jocelyn编辑丨陈彩娴转自：AI科技评论本文对视觉-语言（VL）智能按时间顺序进行了全面调研，并将这一领域的发展总结为三个阶段：第一个阶段是2014-2018年，其间，专门的模型被设计用于不同的任务。第二个时代是2019-2021年，在此期间，通过使用有着高质量标签的VL数据集进行预训练，神经网络模型能够学习视觉和语言的联合表征。最后，随着2021年CLIP的出...
计算机视觉中能量函数,基于改进Snake模型能量函数在MR图像边缘提取中的研究...
weixin_29716207的博客
07-24 1046
摘 要： 在分析传统主动轮廓模型的基本原理、数学表征及算法实现的基础上，针对其收敛于局部极小值和依赖初始位置选取方面存在的不足，提出了改进的主动轮廓模型。该模型通过对一阶连续性能量Econt的改进和增加外部约束能量Esand,使MRI图像边缘提取能够接近真实边缘且不依赖初始位置选取。通过脑部肿瘤边缘提取实验证实了该改进主动轮廓模型的有效性。关键词： 主动轮廓模型； MRI； 边缘提取； 脑肿瘤M...
综述 | 最新视觉-语言预训练综述
zenRRan的博客
03-03 716
每天给你送来NLP技术干货！来自：人工智能前沿讲习论文标题：VLP: A Survey on Vision-Language Pre-training论文链接：https://arxiv....
李航老师对预训练语言模型发展的一些看法
zenRRan的博客
07-12 415
每天给你送来NLP技术干货！作者 | 李航编译 | 李梅、黄楠编辑 | 陈彩娴从俄国数学家 Andrey Markov （安德烈·马尔可夫）提出著名的「马尔科夫链」以来，语言建模的研究已经有了 100 多年的历史。近年来，自然语言处理（NLP）发生了革命性的变化。2001年，Yoshua Bengio 用神经网络进行参数化的神经语言模型，开启了语言建模的新时代。其后，预训...
Grounded Language-Image Pre-training
hjzhang75的博客
10-24 895
本文提出了一种名为GLIP（Grounded Language-Image Pre-Training）的模型，用于学习物体级别、语言感知和语义丰富的视觉表示。GLIP在预训练中统一了对象检测和短语定位任务。该统一带来了两个好处：1）它允许GLIP同时从检测数据和定位数据中学习，从而提升两个任务的性能，并构建出优秀的定位模型；2）GLIP通过生成定位框的自我训练方式，利用大量图像-文本对，使所学习的表示更加语义丰富。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值