点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。最近对比学习真的太火了，已然成为各大顶会争相投稿的一个热门领域，而它火的原因也很简单，就是因为它解决了有监督训练标注数据有限这个典型问题（这个问题在工业界非常滴常见）。所以对比学习的出现，给CV、NLP和推荐都带来了极大的福音，具体来说：1、在CV领域，解决了“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练模型”的问题；2、在NLP

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。最近对比学习真的太火了，已然成为各大顶会争相投稿的一个热门领域，而它火的原因也很简单，就是因为它解决了有监督训练标注数据有限这个典型问题（这个问题在工业界非常滴常见）。所以对比学习的出现，给CV、NLP和推荐都带来了极大的福音，具体来说：1、在CV领域，解决了“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练模型”的问题；2、在NLP

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。今天我们来聊一聊推荐系统中不得不学的Contrastive Learning方法，近年来Contrastive Learning在CV和NLP领域的应用越来越广泛，在推荐系统中当然也不例外。我想大家将对比学习与推荐系统结合主要有以下四个原因：一、是因为数据的稀疏性。众所周知，在推荐系统中有点击的数据是非常少的，可能系统推荐了十篇文章，用户只点击了一篇文章，因此我们可以通过自监督学习对点击数

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Language model等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes（请大家多多点赞支持ヽ(✿ﾟ▽ﾟ)ノ，笔芯！）大家好，

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读，包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中，最终起到了一个不错的效果。Contrastive Learning with Adversarial Perturbations for Conditional Text Generation

点击上方，选择星标或置顶，每天给你送上干货对比学习方法（CV）对比学习要做什么？有监督训练的典型问题，就是标注数据是有限的。目前NLP领域的经验，自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明。所以对比学习的出现，是图像领域为了解决“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练的模型”。对比学习是自监督学习的一种，也就是说，不依赖标注数据，要从无标注图像中自