【论文笔记】对比学习综述

最新推荐文章于 2024-12-16 23:48:34 发布
原创 最新推荐文章于 2024-12-16 23:48:34 发布 · 434 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

该视频博客是跟李沐学AI系列的论文精读笔记第五期，主要深入探讨了深度学习领域的最新研究成果，涵盖了模型优化、损失函数、神经网络架构等多个关键点。博主对重要概念进行了清晰的解释，并提供了实用的实现技巧，有助于观众理解并应用到自己的AI项目中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

跟李沐学AI的b站视频视频—论文精读笔记第五期
https://www.bilibili.com/s/video/BV19S4y1M7hm

最后有总结
请添加图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
请添加图片描述

图对比学习综述（一）：对比范式与优化目标
强化学习曾小健
02-24 1549
对于图级别的下游任务，我们可以更进一步地通过聚合节点级别的表征得到图 � 图级别的表征 �=�������(�)∈��′ ，其中读出函数 �������(⋅) 可以是一个简单的置换不变性的函数例如 ���� 或者 ��� 池化， 或者是含参的神经网络。����(ℎ�,ℎ�)=��(ℎ�,ℎ�)[log⁡(�(ℎ�,ℎ�))]−log⁡��(ℎ�)�(ℎ�)[���(1−�(ℎ�,ℎ�))]如果把 �(ℎ�,ℎ�)=sigmod(�′(ℎ�,ℎ�)) 来表示，则我们可以得到一个softplus版本的公式。
论文笔记-深度学习的遥感变化检测综述：文献计量与分析
weixin_56584941的博客
11-12 2058
由于应用需求的增加，多模态异质变化检测、语义变化检测和时序变化检测是未来的研究趋势。特别是深度学习在时序变化检测的应用较少，可以待进一步研究。
一文详解图对比学习（GNN+CL）的一般流程和最新研究趋势
热门推荐
Paper weekly
10-28 1万+
©作者 |侯宇蓬单位 |中国人民大学文章来源 |RUC AI Box随着对比学习（Contrastive Learning）在 CV、NLP 等领域大放异彩，其研究热度近年来也逐步走...
Unsupervised Learning | 对比学习——13篇论文综述
Clichong
01-29 1万+
文章目录1. 第一阶段：百花齐放1.1 InstDisc1.2 InvaSpread1.3 CPC1.4 CMC2. 第二阶段：CV双雄2.1 MoCov12.2 SimCLRv12.3 MoCov22.4 SimCLRv22.5 SWaV2.6 Other3. 第三阶段：不用负样本3.1 BYOL3.2 SimSiam4. 第四阶段：Transformer4.1 MoCov34.2 DINO5. 总结 1. 第一阶段：百花齐放 在第一阶段上，方法模型都没有统一，目标函数，代理任务也没有统一，所以说是一
综述 | 走向图对比学习:综述与展望
码农的科研笔记
05-22 3050
本论文针对图表示学习中的图对比学习(GCL)方法进行了全面综述。文章系统总结了GCL的基本原理,包括数据增广策略、对比模式和优化目标等方面。并进一步探讨了GCL在弱监督学习、迁移学习等数据高效学习场景中的扩展应用。最后,讨论了GCL在药物发现、基因组学分析、推荐系统等实际领域的应用,展望了该领域面临的挑战和未来的发展方向。
走向图对比学习:综述与展望
码农的科研笔记
05-22 1262
本论文针对图表示学习中的图对比学习(GCL)方法进行了全面综述。文章系统总结了GCL的基本原理,包括数据增广策略、对比模式和优化目标等方面。并进一步探讨了GCL在弱监督学习、迁移学习等数据高效学习场景中的扩展应用。最后,讨论了GCL在药物发现、基因组学分析、推荐系统等实际领域的应用,展望了该领域面临的挑战和未来的发展方向。
对比学习综述
shaui058的博客
07-15 510
本文主要讲对比学习在18年至今的一个发展历程，主要分为四个阶段。
对比学习系列二：论文阅读A Simple Framework for Contrastive Learning of Visual Representations（SimCLR)
最新发布
weixin_45857030的博客
12-16 1018
对比学习系列二：A Simple Framework for Contrastive Learning of Visual Representations
论文笔记：预训练大模型综述（NLP相关部分）
sfgsdfg2516的博客
08-04 1489
预训练基础模型(PFMS)是具有不同数据模式的各种下游任务的基础。PFM(例如BERT、ChatGPT和GPT-4)在大规模数据上进行训练，为广泛的下游应用提供合理的参数初始化。BERT与GPT与传统方法相比具有各自的特点，具体而言：BERT从Transformer中学习双向编码器表示，GPT使用Transformer作为特征提取器，并在大型数据集上训练最近，ChatGPT表现出来卓越的性能，PFM也为人工智能领域带来重大突破许多研究提出了不同的方法、数据集和评估指标，提高了对更新调查的需求。
论文笔记02：深度学习实体关系抽取研究综述
大雄没有叮当猫的博客
08-27 4789
摘要、前言 实体关系抽取：通过对文本信息建模，从文本中自动抽取实体对间的语义关系，提取出有效的语义关系 应用领域：信息抽取、自然语言理解、信息检索、机器翻译、语义网标注、知识图谱等 抽取方法：传统方法：有监督、半监督、弱监督和无监督；深度学习方法：有监督和远程监督 相关领域国际会议：ACL、EMNLP、ICLR、AAA、KDD、NAACL、ECML-PKDD等 2.深度学习实体关系抽取的问题定义和解决框架 2.1 问题定义 实体关系抽取是指在实体识别的基础上，从非结构化文本中抽取预先定
图对比学习论文总结
qq_51072801的博客
04-19 1540
图对比学习
对 比 学 习 小 综 述
Kaiyuan_sjtu的博客
05-12 793
作者|KeqingHe学校|北京邮电大学硕士生方向|自然语言处理,对话系统对比学习大火????今天来和大家一起梳理下对比学习定义一种无监督的图像/文本的表示学习。M...
【学习笔记】对比学习综述 （Contrastive Learning Review）
weixin_44866655的博客
03-04 4097
对比学习13篇文章综述学习笔记
自监督学习（十九）：对比学习方法综述
weixin_47444348的博客
01-25 2206
A SURVEY ON CONTRASTIVE SELF-SUPERVISED LEARNINGIntroductionArchitectures Introduction 这里我们介绍一篇对比学习的综述文章。对比学习是最近非常热门的自监督表示学习方法，在很多的下游任务上都达到或超过了ImageNet预训练的效果。本文比较系统地总结了目前对比学习的几个常用的方法。文章地址：https://arxiv.org/abs/2011.00362。 在之前我们介绍的自监督表示学习方法中，pretext task的设计
# 论文阅读笔记26：图对比学习
mohen_777的博客
07-14 1872
这次阅读的两篇论文是图对比学习相关的内容，虽然我对图对比学习不是很感兴趣，但是因为下周组会要讲这两篇论文，就顺便拿出来看一看了，正好之前CS231N里也稍微了解了一点对比学习相关的东西，就当是开开眼了。两篇论文分别是2021IJCAI上的《》和2021WWW上的《
对比学习顶会论文系列-3-2
Hekena的博客
03-23 1074
从文中的摘要中，文中给出了研究的目标缩减learning objective 和 evaluation metric之间的gap现在已有的在摘要抽取上的方法是以sequence 2 sequence 为主的学习框架，在这个框架下，一般是采用极大似然估计作为损失函数更新模型参数（maximum likelihood estimation——MLE training）
「机器学习_9」 Backpropagation
qq_36098284的博客
05-02 338
Lec 6 Learning Parameters of Multi-layer Perceptrons with Backpropagation Summary Learning parameters of neural networks The Backpropagation algorithm Toward backpropagation 使用pe...
深度学习课程资料与研究论文深度整合
综述论文则对深度学习的研究进展、不同算法和模型的对比分析以及未来发展方向等进行了全面的回顾和探讨。" 知识点详细说明： 1. 深度学习基础理论 - 人工神经网络的构成：包括神经元、权重、偏置等基本元素。 - ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值