ICML22 arixv目前：Structural and Semantic Contrastive Learning for Self-supervised Node Representation

最新推荐文章于 2025-12-08 20:30:54 发布
原创 最新推荐文章于 2025-12-08 20:30:54 发布 · 650 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #图论

本文结合对比学习、标签传播和原型网络，提出了一种自监督节点表示的方法。通过图扩散进行结构化对比学习，利用多跳获取全局结构关系。同时，采用无参贝叶斯原型推断进行语义对比学习，通过标签传播微调原型。实验结果显示该方法在半监督节点分类和聚类中表现出优秀的性能。

文章信息

在这里插入图片描述

摘要

本文是 采用了近几年多个技术来进行 拼接。 包含对比学习，标签传播，原型网络，图扩散

方法

1. 结构化对比学习

通过图扩散，生成多个增强的图，作者利用这种 特征传播和 特征转化解耦的方式 ，并通过多跳来获得全局结构关系
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

就是计算了多个 跳 的对比损失（4），（3）就是NCEloss。 （2）是SGC的形式，解耦。

2. 语义对比学习

采用原型网络来获取节点的语义关系，如何确定原型的数目至关重要（kmeans等不知道最优的k）
作者首先说引入DPMM（迪利克雷处理混合模型）假设节点表征是符合高斯分布（这里存疑，我们可以之后考虑 cvprdbgan 那个原型分布 hhh

最低0.47元/天 解锁文章
GNN4NLP-Papers
SimonChen
07-13 1757
GNN4NLP-Papers A list of recent papers about GNN methods applied in NLP areas. Taxonomy Fundamental NLP Tasks Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks. Shikhar Vashishth, Manik Bhandari, Prate
字节跳动多篇论文入选 CVPR 2021，精选干货都在这里了
字节跳动技术范儿
06-28 3683
CVPR 2021，近期刚刚落下帷幕。 作为计算机视觉领域三大顶级学术会议之一，CVPR每年都吸引了各大高校、科研机构与科技公司的论文投稿，许多重要的计算机视觉技术成果都在CVPR上中选发布。 今天，为大家精选了14篇字节跳动技术团队入选本届CVPR的论文，其中包含2篇Oral（口头演讲论文），分享其中的核心突破，学习计算机视觉领域的最前沿研究。 除此之外，在本届CVPR的各个比赛环节，字节跳动技术团队荣获4项比赛冠军。 接下来，我们就来一起读paper啦。 HR-NAS：使用
ICML22：Finding Global Homophily in Graph Neural Networks When Meeting Heterophily 华师 MSRA NTU
qq_40926715的博客
05-23 1010
文章信息 1.摘要 本文是异质图研究，写作措辞上较为易懂。异质图2020年-2021较多，本文方法1.设计不同节点间的 相似度聚合矩阵，以一种globa视角。 这个矩阵正负数，有闭合解。 2. 优化后 线性复杂度。 3. 有grouping effect 亮点：1. 可扩展异质图 2. 对比了nips21的Linkx（也是采用双MLP类似LINXK），并采用了新提出的数据集 3.实验很详尽。 2.介绍 先介绍了graph发展，说出gcn、gat、graphsage的smoothing平滑不适合异质性。
论文阅读 CLINE：Contrastive Learning with Semantic Negative Examples for Natural Language Understanding
choose_c的博客
07-29 1041
文章来自清华大学和腾讯AI实验室，中文题目为自然语言理解的语义负样本对比学习。首先还是最近比较热的对比学习，重点关注在语义负样本的构建上。 预训练模型虽然有很强的语义表征的能力，但是还是容易受到简单扰动的影响。最近的工作提高预训练模型鲁棒性的方法主要是对抗训练（使用经过扰动后的相近语义样本，而忽略了不同或者是相反样本）。nlp领域 文本的不连续性，使得局部个别字符变化可能造成语义的重大改变。文章经过实验发现，对抗学习对于语义变化情况无效甚至更差。 所以文...
ICML22：NAFS: A SIMPLE YET TOUGH-TO-BEAT BASELINE FOR GRAPH REPRESENTATION LEARNING（ICLR22转投）
qq_40926715的博客
05-31 590
文章信息 pkU wentaozhang（NDLS，GAMLP） 摘要 提出了节点自适应特征平滑(NAFS)，这是一种简单的非参数方法，在没有参数学习。NAFS首先通过特征平滑的方法提取每个节点及其不同跳跃的相邻节点的特征，然后将平滑后的特征自适应组合。此外，通过不同平滑策略提取平滑特征，可以进一步增强所构建的节点表示。我们在两种不同的应用场景下，在四个基准数据集上进行了实验。值得注意的是，具有特征集成的NAFS在这些任务上优于最先进的GNN，并减轻了大多数基于学习的GNN对应物的上述两个限制。 介绍 GN
文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
codename_cys的博客
03-13 5012
文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples 1. 内容简介 2. 方法实现 1. embedding的获取 2. soft negative样品的生成 3. loss函数的定义 3. 实验 & 结果 1. 基础实验结果 2. soft-negative样品的作用 3. BML loss的考察 4. similarity考察 5. 实例考察 ..
对比学习知识扩展——一堆奇奇怪怪的loss，快把我压死了orz...
The smart is sexy
11-20 5558
1.交叉熵loss和对比loss区别 交叉熵 loss 是 最后结果过一层 fc 然后进行 softmax 。 然后 fc 的系数 W 就是特征的模板（模板的意思是把一些特征用这个Wc参数转换后，就能判断它是否是c类，相当于这个Wc就是c类的模板） 非参数样本分类 loss : 这里所谓非参数样本分类，则是将每个计算出的样本特征作为模板 对比 loss 2.Triplet Loss 和 对比loss 区别： Triplet Loss 负样本只有一对 对比 loss 负样本有很多对...
CCF A类会议或期刊----近两年聚类相关论文
Thincor的博客
03-21 6629
会议/期刊 论文 sigmod2021 Fast Density-Peaks Clustering: Multicore-based Parallelization Approach. sigmod2021 SharPer: Sharding Permissioned Blockchains Over Network Clusters. sigmod2021 Dynamic Structural Clustering on Graphs. sigmod2021 On Saving....
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 5044
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
2020年NLP所有领域最新、经典、顶会、必读论文
lqfarmer的博客
05-23 5358
本资源整理了近几年，自然语言处理领域各大AI相关的顶会中，一些经典、最新、必读的论文，涉及NLP领域相关的，Bert模型、Transformer模型、迁移学习、文本摘要、情感分析、问答、机器翻译、文本生成、质量评估、纠错(多任务、masking策略等。)、Probe、多语言、领域相关、多模态、模型压缩、谓词填充、Analysis、分词解析NER、代词指代消解、词义消歧、情感分析、关系抽取、知识库、文本分类等，几乎所有领域。 资源整理自网络，源地址：https://github.com/...
万物皆Contrastive Learning，从ICLR和NIPS上解读对比学习最新研究进展
09-27 1658
点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Language model等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes（请大家多多点赞支持ヽ(✿ﾟ▽ﾟ)ノ，笔芯！）大家好，
【研一小白论文精读】Joint Generative and Contrastive Learning for Unsupervised Person Re-identification
weixin_46235765的博客
04-22 4083
Abstract 就是将GAN和对比学习模块结合起来，对比学习不是需要数据增强吗，就用GAN的视图生成器来做这个增强，还提出了一种对比学习的损失函数，实验也证明取得了SOTA。 Introduction ReID的目标是从不同视图中识别物体，也即是根据可视化相似度从gallery中识别query，gallery和query其实就是对比学习中的两个试图，也是一大一小数据集和样本这样的一个关系。直白一点就是左边是传统对比学习的方法，只不过右边用GAN来代替数据增强的这种方法。。 这个生成器不是普通的生成器，作者
ICML/ICLR‘22 推荐系统论文梳理
公众号/知乎: AI算法札记，欢迎关注交流
06-11 1526
机器学习三大会质量较高，但推荐系统相关论文较少，ICLR公开评审，未录用论文也可以获取，在此一并整理，未录用论文会标出。几篇读下来都相对晦涩，主要还是了解一下定义了什么问题，提出了什么方法，开拓思维，思考在实际业务中是否可能有结合点。...
深度学习1.4-pytorch安装
诚朴勇毅
12-05 99
PyTorch 官方提供了几种安装方法，可以通过 pip 或 conda 进行安装。
深入浅出卷积神经网络（CNN）：从LeNet到Vision Transformer的演进及其实战应用
云雾J视界的博客
12-04 934
本文系统梳理卷积神经网络从LeNet到Vision Transformer的演进脉络，聚焦“为何选用ResNet而非VGG”这一典型面试问题，揭示其背后的技术选型逻辑。文章基于CVPR、ICLR等顶会论文及MLPerf等公开基准，深入剖析四代架构——奠基（LeNet/AlexNet）、深度爆发（VGG/ResNet）、效率觉醒（MobileNet）与注意力时代（ViT/ConvNeXt）的核心创新与工程权衡。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1192
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
Transformer 能否取代 CNN？图像去噪中的新范式探索
最新发布
dream_it_come_in的博客
12-08 702
引言：一场视觉任务的范式之争自 2017 年 Transformer 诞生以来，这场最初为自然语言处理设计的架构，正以不可阻挡的势头冲击计算机视觉领域。从 ViT 打破 CNN 在图像分类的垄断，到 Swin Transformer 横扫分割、检测任务，“Transformer 能否取代 CNN” 成为业界持续争论的焦点。而在图像去噪这一基础任务中，这一争论更具现实意义 ——CNN 凭借局部建模优势长期占据主导，Transformer 则以全局注意力机制带来新可能。
深度学习高级教程：基于生成对抗网络的五子棋对战AI
桃李不言下自成蹊
12-08 578
生活场景类比：生成对抗网络就像一个造假者和一个鉴宝师在互相竞争。造假者（生成器）试图制造假文物，鉴宝师（判别器）试图区分真假文物。随着时间的推移，造假者的技艺越来越高超，鉴宝师的眼光也越来越敏锐，最终造假者能制造出几乎以假乱真的文物。生成器（Generator）：生成假数据，试图欺骗判别器判别器（Discriminator）：区分真实数据和生成器生成的假数据"""残差块，有助于梯度流动和信息保留"""# 快捷连接，处理通道数变化if stride!
[论文笔记] End-to-End Audiovisual Fusion with LSTMs
2302_76169191的博客
12-03 604
本文是《End-to-end visual speech recognition with LSTMs》的进阶篇。它将基于 LSTM 的端到端架构从视觉（Visual）扩展到了视听（Audiovisual）领域，并将任务从单纯的“说话内容识别”扩展到“语音识别和非语言发声分类”。
ICML2018论文实现: Moving Semantic Transfer Network 的Tensorflow代码
6. 标签：给定的标签“adversarial-networks”、“transferlearning”、“domainadaptation”和“icml-2018”、“conditional-shift”、“Python”揭示了这项工作的相关技术领域。其中，“adversarial-networks”指...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值