我想简单的写写nce和infonce

最新推荐文章于 2025-04-05 21:42:09 发布

赵小丽-programer

最新推荐文章于 2025-04-05 21:42:09 发布

阅读量4.7k

点赞数 2

分类专栏：推荐系统机器学习文章标签：概率论机器学习人工智能

本文链接：https://blog.youkuaiyun.com/lili555521/article/details/124801603

版权

本文探讨了NCE（噪声对比估计）和Infonce在解决大规模多分类问题中的作用。NCE通过将原始分布转化为二分类问题来减少计算量，而Infonce则进一步将其转化为多分类问题，但比传统的全分类更高效。两者的关系在于都采用了转化方法，优化分类损失函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

从概念上了解区分nce 和info nce

我这两天都在看infonce 的推导，我表示很头大。今天感觉看明白了，写出来大家讨论一下。

为什么有nce

为了解决一个问题：多分类问题，尤其是类别相当大的时候msoftmax 函数中分母计算量大的问题。
softmax： softmax
类别上百万的时候，咋算

nce 方案：不算

咋算？不算，转化一下，二分类好算吧，用二分类来算。
怎么转化 ：如上我们要求的是p(w｜c) 分布，nce 方案是，我们转化为一个二分类问题。正样本是p(w,c) 中的，负样本是噪声分布q(w)中的，那么根据后验概率，我们可以求
p(label=1 ｜w,c)，p(label=0|w,c) ,怎么求的看下图，kd 代表 p(w,c)中获取的kd 个正样本，kn 代表q(w）中kn个负样本。
后验概率推导
那么转化为的二分问题就是求D变量的二分类函数，就可以区p(w,c) 和 q(w) 。即是 Noise Contrastive Estimation 噪声对比估计。用相求的分布（正样本分布）和噪声分布做对比。
ps࿱