Noise-Contrastive Estimation

最新推荐文章于 2025-04-05 21:42:09 发布
转载 最新推荐文章于 2025-04-05 21:42:09 发布 · 294 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://leimao.github.io/article/Noise-Contrastive-Estimation/
文章标签：

#噪声对比估计

本文介绍了噪声对比估计（Noise Contrastive Estimation, NCE）方法，该方法常用于无监督学习和信息检索中，通过构建噪声样本对比来估计概率分布。在深度学习领域，NCE被用来训练潜在变量模型，如自编码器和生成对抗网络，以优化模型在大量未标记数据上的表现。通过NCE，可以有效估计高维复杂分布，避免直接计算难以求解的归一化常数。
  • https://leimao.github.io/article/Noise-Contrastive-Estimation/
Algorithm-Noise-Contrastive-Estimation-NCE-for-pyTorch.zip
09-17
Algorithm-Noise-Contrastive-Estimation-NCE-for-pyTorch.zip,重新实现Pytorch的噪声对比估计算法，遵循“噪声对比估计：非标准化统计模型的新估计原理”（Gutmann和Hyvarinen，AISTATS 2010）,算法是为计算机程序...
噪声对比估计NCE (Noise-contrastive estimation)采样方法，提高训练速度，解决源码中正label个数必须相等问题
BGoodHabit的博客
12-12 1455
目录1 目的2 tensorflow源码解读3 batch正样本不一致解决方案3.1 pad label对应为负样本3.2 pad label 对应loss mask4 参考 1 目的 降低模型计算复杂度的一种方法 2 tensorflow源码解读 3 batch正样本不一致解决方案 3.1 pad label对应为负样本 3.2 pad label 对应loss mask 4 参考 Noise-contrastive estimation: A new estimation principle for u
噪声对比估计（Noise Contrastive Estimation, NCE）概念
MrLi的博客
07-02 1378
虽然NCE本身是一种特定的算法框架，但在实际应用中，它通常与一些其他技术结合使用，特别是在处理大规模数据时。由于NCE通常是在特定框架和库中实现的，并且直接编写NCE算法的完整Python代码可能相当复杂，这里提供一个简化的示例，用于说明NCE的基本思想：通过对比真实数据和噪声数据来估算模型参数。请注意，这不是一个完整的NCE实现，而是对概念的一个模拟。由于NCE的绘图通常涉及模型性能的可视化，而不是NCE算法本身的可视化，这里提供一个简单的绘图示例，用于展示模型在训练过程中的某个指标（如损失值）的变化。
[转] Noise Contrastive Estimation 噪声对比估计 资料
weixin_33697898的博客
05-21 359
有个视频讲的不错，mark一下 https://vimeo.com/306156327 转载于:https://www.cnblogs.com/Arborday/p/10903065.html
Noise Contrastive Estimation
dengtiaolu0407的博客
10-06 300
Notes from Notes on Noise Contrastive Estimation and Negative Sampling one sample: \[x_i \to [y_i^0,\cdots,y_{i}^{k}]\] where \(y_i^0\) are true labeled words , and \(y_i^1,\cdots,y_i^{k}\) are n...
Noise-contrastive estimation简介
icylling的专栏
02-14 1017
Noise-contrastive estimation（NCE）是一种估计参数化统计模型参数的方法。 基本思想是用非线性逻辑回归（nonlinear logistic regression）区分观测数据和一些人为产生的噪声数据。
对比学习中的NCE(Noise-Contrastive Estimation)和InfoNCE(SimCLR)损失函数+案例（附SimSiam分析）
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
04-05 1550
在对比学习（Contrastive Learning）中，NCE（Noise-Contrastive Estimation）和InfoNCE是两种常见的目标函数，它们都用于通过区分正样本和负样本来学习高质量的表示。NCE 是 word2vec 中用于高效训练词嵌入的关键技术，它通过将多分类问题转化为二分类问题来避免 softmax 计算中的归一化项，大幅提高训练效率。
Noise Contrastive Estimation 前世今生——从 NCE 到 InfoNCE
Lethe's Blog
12-22 6959
0 前言 作为刚入门自监督学习的小白，在阅读其中 Contrastive Based 方法的论文时，经常会看到 InfoNCE 这个 loss（在 CPC 的论文中提出），之前只知道它的思想来自于 NCE 以及代表什么含义，但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的思想不太清楚，因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 InfoNCE 的来龙去脉有个了解。 1 从 NLP 入手 1.1 背景 NCE，也就是 Noise Contrastive Noise（噪声对比
Noise-contrastive Estimation（NCE）学习
Vac的博客
03-13 1796
作为现今主流自监督对比学习使用的对比损失(InfoNCE)的源头，感到学习Noise-contrastive Estimation（NCE）的重要性。原文很有意思，但目前很多讲解NCE的文章大都从NLP出发，这似乎无法让人清晰地看到NCE的巨大力量，事实上，NCE的理论意义应当不止于NLP。此外，还有一些写的好的讲解文章有大量公式，对于这些公式，不自己一步一步推导是无法体悟其中精髓的。因此，我打算撰写该文，尽量还原原文，逼迫自己逐行体悟其中精髓，并整理成材料，供自己加深理解。
噪声对比估计 Noise Contrastive Estimation (NCE)
bbbeoy的专栏
08-12 1768
https://zhuanlan.zhihu.com/p/79535611 https://zhuanlan.zhihu.com/p/76568362
面对配分函数 - 噪扰对比估计（NCE）篇
绎岚科技的博客
10-19 2070
配分函数（也叫归一化因子）在概率分布和统计模型的计算中扮演着至关重要的角色。然而，在许多实际应用中，特别是自然语言处理和图像处理领域，配分函数的计算往往异常复杂且难以直接实现。为了解决这一难题，噪音对比估计（Noise Contrastive Estimation，NCE）应运而生。NCE是一种巧妙的统计模型估计方法，它能够在无法直接计算配分函数的情况下，估算出概率分布的参数。
噪声对比估计（Noise-contrastive estimation, NCE）：如何高效估计未归一化统计模型的参数？
阿正的梦工坊
03-28 1095
噪声对比估计（NCE）是一种创新的估计方法，专为未归一化统计模型设计。它通过将参数估计转化为分类问题，避免了直接计算归一化常数的难题
Softmax, Negative Sampling, and Noise Contrastive Estimation
YiqiangXu的博客
05-11 561
Softmax, Negative Sampling, and Noise Contrastive Estimation \nabla_\theta J_\theta = \: \nabla_\theta \mathcal{E}(w) - \sum_{w_i \in V} P(w_i) \nabla_\theta \mathcal{E}(w_i)
噪声对比估计（Noise Contrastive Estimation, NCE）
m0_61429700的博客
03-16 1010
这样，我们可以用采样的方式近似求解目标函数，避免计算整个词汇表的归一化项。NCE 的目标是将计算语言模型的参数估计问题转换为二分类问题，即区分。足够大的情况下，NCE 能够收敛到正确的参数估计。的求和，计算代价仍然较大。在实际训练时，我们使用参数化模型。，是一个未归一化的打分函数，而。然而，第二项涉及对整个词汇表。于是，对于一个给定的上下文。（从某个噪声分布中采样）。对于一个给定的上下文。
Noise Contrastive Estimation (NCE) 、负采样（NEG）和InfoNCE
taoqick的专栏
04-06 3400
The issueThere are some issues with learning the word vectors using an "standard" neural network. In this way, the word vectors are learned while the network learns to predict thenext wordgiven awi...
“噪声对比估计”杂谈：曲径通幽之妙
Paper weekly
06-15 5318
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm说到噪声对比估计，或者“负采样”，大家可能立马就想到了 Word2Vec。事...
NCE(Noise Contrastive Estimation) 与negative sampling
qq_34527082的博客
08-22 1804
NCE Noise Contrastive Estimation与negative sampling负例采样背景NCE(Noise Contrastive Estimation)Negative Sampling参考文献 背景 要解决的问题是, 当label太多, 导致使用传统的softmax 输出结果巨大, 计算不高效, 甚至无法实操的问题. 比如: word2vec cbow的负例. 或者其...
3.2. Noise-Contrastive Estimation Computing the non-parametric softmax in Eq.(2) is cost prohibitive when the number of classes n is very large, e.g. at the scale of millions. Similar problems have been well addressed in the literature for learning word embed- dings [25, 24], where the number of words can also scale to millions. Popular techniques to reduce computation in- clude hierarchical softmax [26], noise-contrastive estima- tion (NCE) [9], and negative sampling [24]. We use NCE [9] to approximate the full softmax. We adapt NCE to our problem, in order to tackle the dif- ficulty of computing the similarity to all the instances in the training set. The basic idea is to cast the multi-class clas- sification problem into a set of binary classification prob- lems, where the binary classification task is to discrimi- nate between data samples and noise samples. Specifically, the probability that feature representation v in the memory bank corresponds to the i-th example under our model is, P (i|v) = exp(vT fi/τ ) Zi (4) Zi = n∑ j=1 exp (vT j fi/τ ) (5) where Zi is the normalizing constant. We formalize the noise distribution as a uniform distribution: Pn = 1/n. Following prior work, we assume that noise samples are m times more frequent than data samples. Then the posterior probability of sample i with feature v being from the data distribution (denoted by D = 1) is: h(i, v) := P (D = 1|i, v) = P (i|v) P (i|v) + mPn(i) . (6) Our approximated training objective is to minimize the neg- ative log-posterior distribution of data and noise samples, JN CE (θ) = −EPd [log h(i, v)] −m·EPn [log(1 − h(i, v′))] . (7) Here, Pd denotes the actual data distribution. For Pd, v is the feature corresponding to xi; whereas for Pn, v′ is the feature from another image, randomly sampled according to noise distribution Pn. In our model, both v and v′ are sampled from the non-parametric memory bank V . Computing normalizing constant Zi according to Eq. (4) is expensive. We follow [25], treating it as a constant and estimating its value via Monte Carlo approximation: Z ≃ Zi ≃ nEj [exp(vT j fi/τ )] = n m m∑ k=1 exp(vT jk fi/τ ), (8) where {jk} is a random subset of indices. Empirically, we find the approximation derived from initial batches suffi- cient to work well in practice. NCE reduces the computational complexity from O(n) to O(1) per sample. With such drastic reduction, our exper- iments still yield competitive performance. 3.3. Proximal RegularizationTraining Iterations Training Loss The Effect of Proximal Regulari
最新发布
08-24
- **noise-contrastive estimation (NCE)**：通过将多分类问题转化为二分类问题（区分真实样本与噪声样本）来近似 softmax。 - **memory bank**：存储训练过程中所有样本的特征表示，用于对比学习或 NCE。 - **Monte...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值