Noise Contrastive Estimation

熵

统计机器学习中经常遇到熵的概念，在介绍NCE和InfoNCE之前，对熵以及相关的概念做简单的梳理。信息量用于度量不确定性的大小，熵可以看作信息量的期望，香农信息熵的定义：对于随机遍历$X$，香农信息的定义为 $I(X)=-log(P(X))$，香农熵的定义为香农信息的期望$H(X)=E(I(X))={\sum }_{x}P(x)I(x)=-{\sum }_{x}P(x)log(P(x))$。当随机变量为均匀分布时，熵最大。香农编码定理表明熵是传输一个随机变量状态值所需的比特位下界。

对于多维随机变量，联合熵的定义为：$H(X,Y)=E(I(X,Y))={\sum }_{x,y}P(x,y)I(x,y)=-{\sum }_{x,y}P(x,y)log(P(x,y))$

条件熵：

$$H(Y|X)=E_x(H(Y|X=x))=-\sum _{x}p(x)\sum _{y}p(y|x)logP(y|x)$$

$$=-\sum _x\sum _{y}p(x)p(y|x)log(p(y|x))$$

$$=-\sum _{x,y}p(x,y)log(p(y|x))$$

有定义可推出条件熵的一下性质：

$$H(Y|X)=-\sum _{x,y}p(x,y)log(p(y|x))$$

$$=-\sum _{x,y}p(x,y)log(p(x,y)/p(x)))$$

$$=-\sum _{x,y}p(x,y)log(p(x,y))+\sum _{x,y}p(x,y)log(p(x))$$

$$=-\sum _{x,y}p(x,y)log(p(x,y))+\sum _{x}log(p(x))\sum _{y}p(x,y)$$

$$=H(X,Y)+\sum _{x}log(p(x))p(x)$$

$$=H(X,Y)-H(X)$$

相对熵（也成KL散度）：

设$p(x),q(x)$是离散随机变量的两个概率分布，则p相对q的相对熵为

$$KL(p||q)=E_{x\sim p(x)}(log(\frac{p(x)}{q(x)}))=\sum _{x}p(x)log(\frac{p(x)}{q(x)})$$

• 如何p,q相同，则$KL(p||q)=KL(q||p)=0$
• $KL(p||q)\ne KL(q||p)$
• $KL(p||q)\ge 0$

证明：

$$KL(p||q)=E_{x\sim p(x)}(log\frac{p(x)}{q(x)})$$

$$=\sum _{x}p(x)log\frac{p(x)}{q(x)}$$

$$=-\sum _{x}p(x)log(\frac{q(x)}{p(x)})$$

$$=-E_{x\sim p(x)}(log\frac{q(x)}{p(x)})$$

$$\ge -log{E}_{x\sim p(x)}(\frac{q(x)}{p(x)})---Jensen不等式$$

$$=-log\sum _{x}p(x)\frac{q(x)}{p(x)}$$

$$=-log\sum _{x}q(x)=0$$

交叉熵：

$H(p,q)=-{\sum }_{x}p(x)log(q(x))$

交叉熵有如下性质：

$$KL(p||q)=\sum _{x}p(x)log\frac{p(x)}{q(x)}$$

$$=\sum _{x}p(x)log(p(x))-\sum _{x}p(x)log(q(x))$$

$$=-\sum _{x}p(x)log(q(x))-(-\sum _{x}p(x)log(p(x)))$$

$$=H(p,q)-H(p)$$

$$\le H(p,q)$$

因此最小化交叉熵$H(p,q)$，在最小化KL散度的上界。事实上机器学习中，可以认为 $p(x)$ 为真实的数据分布，$q(x)$ 为通过模型建模的数据分布，参数待估计（学习）。一个常见的参数估计（学习）策略就是最小化交叉熵，可以证明样本固定的情况下，最小化交叉熵等价于最小化相对熵（KL散度），也等价于最大化似然。

实际情况是数据的真实分布 $p(x)$ 是未知的，因此学习中用来自总体的样本$ {x_i, i=1, 2,…,n}$近似计算，希望学习到的分布 $q(x)$ 与样本分布一致。

根据最小交叉熵策略，损失函数定义为：

$$Loss(\theta )=H(p,q)=-\sum _{x}p(x)log(q(x;\theta ))=-E_{x\sim p(x)}(log(q(x;\theta )))$$

$$\approx -\frac{1}{n}\sum _{i=1}^{n}log(q(x_i;\theta ))$$

$${\theta }^{\ast }=argmi{n}_{\theta }-\frac{1}{n}\sum _{i=1}^{n}log(q(x_i;\theta ))$$

根据最大似然估计策略，样本的似然函数为：

$$L(\theta )=\sum _{i=1}^{n}log(q(x_i;\theta ))$$

$${\theta }_{MLE}=argma{x}_{\theta }\sum _{i=1}^{n}log(q(x_i;\theta ))$$

可以看出最小交叉熵估计等价于最大似然估计。

互信息：

连个随机变量X,Y的互信息定义为

$$I(X,Y)=E_{x,y\sim p(x,y)}(log\frac{p(x,y)}{p(x)p(y)})=\sum _x\sum _{y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$$

互信息满足：

• 对称性：$I(X;Y)=I(Y;X)$
• 半正定性：$I(X:Y)\ge 0$，当$X，Y$互相独立时，$I(X;Y)=0)$

证明：

$$I(X;Y)=E_{x,y\sim p(x,y)}(log\frac{p(x,y)}{p(x)p(y)})$$

$$-E_{xy\sim p(x,y)}(log\frac{p(x)p(y)}{p(x,y)})$$

$$\ge log{E}_{x,y\sim p(x,y)}(\frac{p(x)p(y)}{p(x,y)})---Jensen不等式$$

$$=log\sum _{x,y}p(x,y)\frac{p(x)p(y)}{p(x,y)})$$

$$=log1=0$$

Noise Contrastive Estimate

语言模型中建模给定上下文 $c$ 下单词 $w$的条件概率：

$$p(w|c)=p_{\theta }(w|c)=\frac{exp(s_{\theta }(w,c))}{{\sum }_{w^{\prime }\in V}exp(s_{\theta }(w,c))}(1)$$

下面我们考虑给定上下文 $c$ 后的参数 $\theta$ 的估计问题。

考虑极大似然估计方法，样本的的对数似然函数为：

$$L(\theta )=\sum _{i=1}^{n}log{p}_{\theta }(w_i|c)$$

$$=\sum _{i=1}^{n}log{p}_{\theta }(w_i|c)$$

$$=\sum _{i=1}^{n}logexp(s_{\theta }(w_i,c)-\sum _{i=1}^{n}log\sum _{w^{\prime }\in V}exp(s_{\theta }(w’,c)))$$

$$=\sum _{i=1}^n{s}_{\theta }(w_i,c)-n\ast log\sum _{w^{\prime }\in V}exp(s_{\theta }(w^{\prime },c)))$$

其中 n 为样本容量。

最大似然估计：

${\hat{\theta }}_{MLE}=argma{x}_{\theta }L(\theta )$

通过梯度下降方式求解估计值${\hat{\theta }}_{MLE}$，首先梯度计算为：

$$\frac{\partial L(\theta )}{\partial \theta }=\sum _{i=1}^n[\frac{\partial s_{\theta }(w_i,c)}{\partial \theta }]-n\ast \sum _{w^{\prime }\in V}\frac{1}{{\sum }_{w^{\prime }\in V}exp(s_{\theta }(w^{\prime },c))}exp(s_{\theta }(w^{\prime },c))\frac{\partial s_{\theta }(w^{\prime },c)}{\partial \theta }$$

$$=\sum _{i=1}^n[\frac{\partial s_{\theta }(w_i,c)}{\partial \theta }]-n\ast \sum _{w^{\prime }\in V}{p}_{\theta }(w^{\prime },c)\frac{\partial s_{\theta }(w^{\prime },c)}{\partial \theta }$$

上面的计算分为两部分，前半部分针对每个训练样本$(w_i,c)$，后半部分则需要对整个词表 V 进行计算，当词表较大时，计算量较大，因此提出了一些近似计算的方式：

• 通过采样的方式计算，也就是从$p_{\theta }(w|c)$中采用样本，用$\frac{1}{k}{\sum }_{i=1}^k\frac{\partial s_{\theta }(w_i,c)}{\partial \theta }$结果近似第二部分；实际操作中从$p_{\theta }(w|c)$中采样的操作比较复杂，因此会用另一个分布$q(w|c)$作为采样分布，这种方式称为sampled softmax

$$\frac{\partial L(\theta )}{\partial \theta }==\sum _{i=1}^n[\frac{\partial s_{\theta }(w_i,c)}{\partial \theta }]-n\ast \sum _{w^{\prime }\in V}{p}_{\theta }(w^{\prime },c)\frac{\partial s_{\theta }(w^{\prime },c)}{\partial \theta }$$

$$=\sum _{i=1}^n[\frac{\partial s_{\theta }(w_i,c)}{\partial \theta }]-n\ast E_{w^{\prime }\sim p_{\theta }(w|c)}\frac{\partial s_{\theta }(w^{\prime },c)}{\partial \theta }$$

$$\approx \sum _{i=1}^n[\frac{\partial s_{\theta }(w_i,c)}{\partial \theta }]-n\ast \frac{1}{k}\sum _{i=1}^k\frac{\partial s_{\theta }(w_i^{\prime },c)}{\partial \theta }$$

• 噪音对比学习(Noise Contrastive Estimate)

NCE 将训练样本$(w_i,c)$作为正样本，记为$D=1$，然后从一个已知确定的与c无关的噪音分布$q(w)$中采样样本作为负样本，记为$D=0$。随机采样的负样本个数为$k$，则新样本中：

$$p(D=1)=\frac{n}{n+k\ast n}$$

$$p(D=0)=1-p(D=1)=\frac{k\ast n}{n+k\ast n}$$

$$p(w|D=1,c)=p_{\theta }(w|c)$$

$$p(w|D=0,c)=q(w)$$

$$p(D=1|w,c)=\frac{p(D=1)p(w|D=1,c)}{p(D=0)p(w|D=0,c)+p(D=1)p(w|D=1,c)}$$

$$=\frac{p_{\theta }(w|c)}{p_{\theta }(w|c)+kq(w)}$$

$$p(D=0|w,c)=1-p(D=1|w,c)=\frac{p(D=0)p(w|D=0,c)}{p(D=1)p(w|D=0,c)+p(D=1)p(w|D=0,c)}$$

$$=\frac{kq(w)}{p_{\theta }(w|c)+kq(w)}$$

原有样本和随机负采样的样本组成新的样本集合，样本容量为 n + k * n，下面依然采用最大似然估计，新的样本的对数似然为：

$$L^c(\theta )=\sum _{i=1}^{n}log{p}_{\theta }(D=1|w_i,c)+\sum _{i=n+1}^{k\ast n}log{p}_{\theta }(D=0|w_i,c)$$

其中

$$p_{\theta }(w|c)=\frac{exp(s_{\theta }(w,c))}{{\sum }_{w^{\prime }\in V}exp(s_{\theta }(w^{\prime },c))}$$

$$=\frac{u_{\theta }(w,c)}{Z(c)}$$

$$p(D=1|w,c)=\frac{p_{\theta }(w|c)}{p_{\theta }(w|c)+kq(w)}$$

$$p(D=0|w,c)=\frac{kq(w)}{p_{\theta }(w|c)+kq(w)}$$

可以看到以上的似然函数中依然需要计算归一化分母$Z(c)={\sum }_{w^{\prime }\in V}exp(s_{\theta }(w^{\prime },c))$，计算量依然较大，下面我们对模型做一次改造：

$$Z(c)={\theta }^c$$

$$p_{\theta }(w|c)=exp(s_{\theta (w,c)})/{\theta }^c=p_{{\theta }^0}(w|c)/{\theta }^c$$

新的函数的参数包括两部分组成：$\theta ={\theta }^0,{\theta }^c$

$p_{{\theta }^0}(w|c)$为未归一化的函数 $$p_{{\theta }^0}(w|c)=u_{{\theta }^0}(w|c)$$

$$L^c(\theta )=\sum _{i=1}^{n}log{p}_{\theta }(D=1|w_i,c)+\sum _{i=n+1}^{k\ast n}log{p}_{\theta }(D=0|w_i,c)$$

$$=\sum _{i=1}^{n}log\frac{p_{\theta }(w_i|c)}{p_{\theta }(w_i|c)+kq(w_i)}+\sum _{w\sim q(w_i)}log\frac{kq(w)}{p_{\theta }(w_i|c)+kq(w_i)}$$

作者实验发现取${\theta }^c=1$也有不错的效果，因此模型只剩下一部分参数待估计${\theta }^0$

InfoNCE

• 表示学习：通过预测future的任务，学习到好的表示

• 作者认为直接建模条件概率$p(x|c)$方式对于提取$x,c$的共享信息并不是最优的方法

• 作者提出建模$x,c$之间的建模密度比$\frac{p(x|c)}{p(x)}$ ：$f_k(x_{t+k},c_t)\propto \frac{x_{t+k}|c_t}{p(x_{t+k})}$，提升密度比提升x,c 的互信息：$I(X,C)={\sum }_x{\sum }_{c}p(x,c)log\frac{p(x|c)}{p(x)}$

• 实践中作者采用的模型为$f_k(x_{t+k},c_t)=exp(z_{t+k}^T{W}_k{c}_t),z_t=g_{enc}(x_t),c_t=g_{ar}(z_{\le t})$

• 给定一个训练batch样本X={x1,x2,...,xN}X=\{x_1,x_2,...,x_N\}X={x1​,x2​,...,xN​}，包含一个从$p(x_{t+k}|c_t)$中采样的样本，作为正样本，N-1 个来自$p(x_{t+k})$的样本作为负样本，InfoNCE的Loss定义为：$L_N=-E[log\frac{f_k(x_{t+k},c_t)}{{\sum }_{x\in X}{f}_k(x_j,c_t)}]$

• $I(x_{t+k},c_t)\ge logN-L_N$

证明：

$$L_N=-E[log\frac{f_k(x_{t+k},c_t)}{f_k(x_{t+k},c_t)+{\sum }_{x_j\in X_{neg}{f}_k(x_j,c_t)}}]$$

$$=E[log\frac{f_k(x_{t+k},c_t)+{\sum }_{x_j\in X_{neg}}{f}_k(x_j,c_t)}{f_k(x_{t+k},c_t)}]$$

$$=Elog[1+\frac{p(x_{t+k})}{p(x_{t+k}|c_t)}\sum _{x_j\in X_{neg}}\frac{p(x_j|c_t)}{p(x_j)}]$$

$$\approx Elog[1+\frac{p(x_{t+k})}{p(x_{t+k}|c_t)}(N-1)E_{x_j\sim p(x_j)}\frac{p(x_j|c_t)}{p(x_j)}]$$

$$=Elog[1+\frac{p(x_{t+k})}{p(x_{t+k}|c_t)}(N-1)]$$

$$\ge Elog[\frac{p(x_{t+k})}{p(x_{t+k}|c_t)}N]$$

$$=-H(x_{t+k},c_t)+logN$$

因此最小化L_N等价于最大化互信息$I(x_{t+k},c_t)$的下限。