【图对比学习 难样本挖掘】ICML‘22 ProGCL: Rethinking Hard Negative Mining in Graph Contrastive L

原创 已于 2023-10-31 15:37:50 修改 · 1.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #推荐算法

于 2022-11-07 15:25:31 首次发布
本文介绍了一种新的图对比学习方法ProGCL,针对难负样本挖掘问题，通过混合分布评估真负样本概率，并提出了ProGCL-weight和ProGCL-mix两种策略，有效提升了图对比学习的性能。

#论文题目：【图对比学习 难样本挖掘】ProGCL: Rethinking Hard Negative Mining in Graph Contrastive Learning（ProGCL:重新思考图对比学习中的难样本挖掘）
#论文地址：https://proceedings.mlr.press/v162/xia22b/xia22b.pdf
#论文源码开源地址：https://github.com/junxia97/ProGCL
#论文所属会议：ICML 2022
#论文所属单位：浙江大学、西湖大学
在这里插入图片描述

一、导读

本篇文章作者发现现有的其他领域的难负样本挖掘技术并不能很好地提高图对比学习的表现，并对这一现象进行深入探究，发现可以归因于图神经网络的信息传递机制。此外作者提出了一种挖掘图网络中的难样本对的方法。此方法原则上可以替换任何一个图对比学习中计算难样本对的模块，实验表明，此方法有着更为显著的效能提升。

二、总体思路

在这里插入图片描述
图对比学习在无监督节点表征学习任务上取得了巨大成功，其基本的框架如上图所示，图数据经过两种增广后得到两个视角的图数据和。我们把不同视角下同一个节点称为正样本对，任意两个不同样本称为负样本对。假设一对正样本对为，对比损失如下：
在这里插入图片描述

最低0.47元/天 解锁文章
AI原生应用开发：计算机视觉中的多任务学习
大模型应用工坊
08-11 1079
在AI原生应用开发中，计算机视觉（CV）多任务学习（MTL）因能高效利用数据资源提升模型泛化能力降低部署成本，成为连接理论研究与产业落地的关键技术。本文从第一性原理出发，系统拆解MTL的理论框架与架构设计，结合生产级实现代码与真实案例，覆盖从概念认知到边缘部署的全流程。通过层次化解释（专家→中级→入门）与可视化工具MTL在CV中的核心价值与问题边界；从“任务相关性”到“联合损失函数”的理论推导；多任务模型的架构设计与优化策略；AI原生应用中MTL的落地流程与风险控制。
机器学习领域顶会ICML20精选论文分享
lqfarmer的博客
09-13 4771
ICML 是 International Conference on Machine Learning的缩写，即国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。 今年的ICML2020会议由于受疫情的影响改成了线上会议，做为人工智能领域的顶级会议之一，今年入选的论文一共1088篇，入选论文的数量创造了历史之最，但接受率却只有21.8%，低于2019年22.6%和2018年的24.9%。 本文整理了本次顶会的入选的精选论文，分...
Graph Contrastive Learning 图对比学习GCL
最新发布
m0_51448653的博客
10-12 2075
一般意义上，图对比学习是一种针对图数据的自监督学习算法。对给定的大量无标注图数据，图对比学习算法旨在训练出一个图编码器，目前一般指图神经网络（Graph Neural Network, GNN）。由这个 GNN 编码得到的图表示向量，可以很好地保留图数据的特性，并进一步在无监督、半监督、迁移学习以及鲁棒性测试等实验设置下进行测试，并应用于社交网络、蛋白质交互网络、分子结构、学术引用网络等多个场景中。随机采样一批（batch）图；对每一个图进行两次随机的数据增强（如删除若干条边（edge）），增强后。
图像处理中的hard negative mining（难例挖掘）
热门推荐
qq_36570733的博客
10-27 1万+
本篇总结了一下知乎上的回答，原文链接：https://www.zhihu.com/question/46292829 在目标检测中我们会事先标记好ground_truth，接下来在图片中随机提取一系列sample，与ground_truth重叠率IoU超过一定阈值的(比如0.5)，则认为它是positive sample，否则为negative sample，考虑到实际负样本数>>正...
【论文笔记_对比学习_2021】CONTRASTIVE LEARNING WITH HARD NEGATIVE SAMPLES
qq_45128278的博客
07-20 2621
如何才能为对比性学习提供好的负面例子？我们认为，就像度量学习一样，表征的对比性学习得益于硬性负面样本（即难以与锚点区分的点）。使用硬阴性样本的关键挑战是，对比性方法必须保持无监督状态，这使得采用现有的使用真实相似性信息的阴性采样策略变得不可行。作为回应，我们开发了一个新的无监督抽样方法系列，用于选择用户可以控制硬度的困难负样本。这种抽样的一个限制性案例导致了对每个类的紧密聚类，并将不同的类尽可能地推开的表现。所提出的方法改善了多种模式下的下游性能，只需要几行额外的代码来实现，并且没有引入计算开销。。....
ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统
qq_43431934的博客
03-03 3073
近年来，图神经网络（Graph Neural Networks，或简称 GNN）在基于图的推荐系统上展现了良好的效果，而这得益于其整合相邻结点信息以进行协同过滤（Collaborative Filtering）的能力。总的来说，基于 GNN 的推荐模型在用户-物品交互图上进行多层的信息传递，以此挖掘高阶的（high-order）连接信息。很大一部分基于 GNN 的协同过滤模型采用了监督学习（Supervised Learning）的范式，而这需要大量而准确的带标签信息用以训练。
Awesome-Graph-Contrastive-Learning:图对比学习方法的集合
04-12
很棒的图对比学习 图对比学习方法的集合。 论文参考及实施 InfoMax 2020年 通过图形互信息最大化（WWW）进行图形表示学习 作者：彭震，黄文兵，罗敏楠，郑庆华，于蓉，徐挺阳，黄俊洲 InfoGraph：通过互信息最大化（ICLR）进行无监督和半监督的图形级表示学习 作者：孙凡云，乔丹·霍夫曼，维卡斯·维尔玛，唐健 2019年 深度图InfoMax（ICLR） 作者：PetarVeličković，William Fedus，William L. Hamilton，PietroLiò，Yoshua Bengio和R Devon Hjelm GNN预训练 2020年 GCC：用于图形神经网络预训练（KDD）的图形对比编码 作者：邱介中，陈其斌，董玉晓，张静，杨红霞，丁铭，王宽三，唐洁 [代码] 具有增强功能的图对比学习（NeurIPS） 作者：尤宇宁，陈天龙，隋永
【论文合集】Awesome Backdoor Learning
m0_61899108的博客
05-19 3937
关于后门攻击&防御的博客与论文。
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5331
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
《Contrastive Learning with Hard Negative Samples》阅读笔记
weixin_44846680的博客
01-18 3838
title: 《Contrastive Learning with Hard Negative Samples》阅读笔记 1 动机和思路 对比学习在无监督表征学习领域的潜力无需多言，已经有非常多的例子证明其效果，目前比较多的针对对比学习的改进包括损失函数、抽样策略、数据增强方法等多方面，但是针对负对的研究相对而言更少一些，一般在构造正负对时，大部分模型都简单的把单张图像及其增强副本作为正对，其余样本均视为负对。这一策略可能会导致的问题是模型把相距很远的样本分得很开，而距离较近的负样本对之间可能比较难被区.
困难样本挖掘：Hard Sample Mining（原理及实现）
Java开发，人工智能，边缘计算，致力于掌握前沿技术
04-01 1万+
困难例挖掘方法通常可以提高目标检测器的性能，因为它受到不平衡训练集的影响。在这项工作中，两种现有的困难例子挖掘方法（LRM和焦点损失，FL）被调整并结合到最先进的实时目标检测器YOLOv5中。广泛地评估了所提出的方法对于提高困难例性能的有效性。在2021年Anti-UAV挑战数据集上，与使用原始损失函数相比，所提出的方法使mAP提高了3%，与单独使用困难挖掘方法（LRM或FL）相比，提高了约1%。
GNN algorithms(6): GraphCL
天狼啸月1990的博客
03-13 1778
图对比学习 GCL: GCL是一种针对图数据的自监督学习算法。--》对给定的大量无标签数据，图对比算法旨在训练出一个图编辑器，即GNN，用以得到图表示向量。
MixKG: Mixing for harder negative samples in knowledge graph---没代码
weixin_44466434的博客
03-25 1067
1
IJCAI2023 | A Systematic Survey of Chemical Pre-trained Models（化学小分子预训练模型综述）
justBeHerHero
05-03 2252
IJCAI2023 | A Systematic Survey of Chemical Pre-trained Models（化学小分子预训练模型综述）
图对比学习的模型增强技巧
gao00013的博客
12-19 2457
对比学习(CL)已经成为无监督视觉表征学习的一个很有前途的范例(Chen et al . 2020;他等人2020;Grill等人2020;简而言之，典型的CL方法将通过数据增强生成相同样本的两个视图，然后最大化其编码表示之间的相似性。这样，CL可以提取不同视图之间共享的信息(Tian et al . 2020)，从而缓解只出现在单个视图中的任务无关噪声。最近，CL也被引入到图域，用于无监督图的表示学习，被称为图对比学习(GCL) (Y ou et al 2020;Zhu等2021;邱等人2020;
走向图对比学习:综述与展望
码农的科研笔记
05-22 1372
本论文针对图表示学习中的图对比学习(GCL)方法进行了全面综述。文章系统总结了GCL的基本原理,包括数据增广策略、对比模式和优化目标等方面。并进一步探讨了GCL在弱监督学习、迁移学习等数据高效学习场景中的扩展应用。最后,讨论了GCL在药物发现、基因组学分析、推荐系统等实际领域的应用,展望了该领域面临的挑战和未来的发展方向。
2021最新对比学习（Contrastive Learning）在各大顶会上的经典必读论文解读
Kaiyuan_sjtu的博客
09-18 4305
我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Langua...
Rethinking Minimal Sufficient Representation in Contrastive Learning 论文解读和感想
qq_37614597的博客
09-04 729
我们知道不同增强样本所包含的信息是不同的（否则对比学习就成为了一个恒等映射），因此不同增强样本所适应的下游任务也是有差别的，但是如果学习的表征只包含共享信息，而丢弃了不共享的任务相关信息（学习最小充分表征），势必会造成提取的表征对某些下游任务性能下降。对比学习通过最大化不同增强样本的互信息进行训练，因此其学习目标是样本的充分表征，而由于训练时不同增强样本是相互监督的，因此其学习目标也就等价于获得不同增强样本的最小充分表征。2、最小充分表征，充分表征中最小的表征，即包含且仅包含所有增强样本的共享表征的表征。
论文阅读：CVPR2022 Rethinking Minimal Sufficient Representation in Contrastive Learning
Blair_2的博客
03-15 1310
Abstract： 对比学习近似地获得了包含共享信息的最小充分表示，并消除了视图之间的非共享信息。考虑到下游任务的多样性，不能保证所有与任务相关的信息在视图之间共享。因此，我们假设不能忽略非共享任务相关信息，并从理论上证明对比学习中的最小充分表示不足以满足下游任务，从而导致性能下降。这揭示了一个新问题，即对比学习模型存在过度拟合视图之间共享信息的风险。为了缓解这个问题，我们建议增加表示和输入之间的互信息作为正则化，以近似引入更多与任务相关的信息，因为我们在训练期间不能利用任何下游任务信息。 Introd
零样本学习的简单实现：基于ICML2015论文的MATLAB代码
Shot Learning，简称ESZSL）是发表于ICML 2015的一篇具有里程碑意义的论文，其核心思想在于提出了一种简洁、高效且可解释性强的零样本学习（Zero-Shot Learning, ZSL）算法框架。该方法通过将传统的分类问题转化为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值