PSGAN: A Minimax Game for Personalized Search with Limited and Noisy Click Data总结

深度学习由于良好的自动从数据中提取特征的能力而广泛应用在个性化搜索中。然而历史记录里一些噪音信息，比如和当前query相关性不高的数据对于当前query来说是无用的，因此有了一个挑战：在具有相关数据和无关数据的条件下，如何找到合适的（个性化）分类边界，也就是如何判别某个document和当前的query以及用户是否相关。

然后放出解决方法：

作者提出了一个PSGAN======>针对个性化搜索的GAN。
它通过对抗训练，使得模型更加关注那些难以分辨的训练数据。
分辨器的目标是：更好的接近满足用户意向的documents的分布。（找到更好的分辨边界）
生成器的目标是：生成更好的负样本（混淆分辨器）
简单说一下PSGAN的结构：分辨器评估文章的相关性，生成器学习相关文档的分布。

那么如何构建生成器呢？文章提供了两种思路：

基于文档选择的生成器 or 基于生成query的生成器。
更详细的说明：
基于文档的是：在负样本空间（documents）里采样作为生成的文档。
基于生成query的是：先根据用户的意向(user intents)和当前query生成相关的一系列queries，然后根据生成的queries计算documents的相关性，希望能通过增强信息来更好的估计文档的相关性。
实验表明后者更好

深度学习模型的好处是
可以自动的从训练集中学习 文章的表示、用户描述文件以及其他相关的特征，而不用手工设计。也可以覆盖大范围的特征。

所以：训练集很重要！
但是他们有很多参数，并且需要大量的数据才可以。然而个性化搜索十分依赖用户的个人信息，然而用户的历史记录数据量有限，每个搜索只点几下，而且历史记录是有噪音的，用户可能点击无关的（自己不感兴趣的）文章，而且不同的偏好重要程度也不一样，

因此，作者的目标：设计一个能选择更细粒度的偏好作为训练集的方法。

做GAN的一个挑战：文字数据是离散的，所以无法随意生成一个负样本。解决方法是：跟着IRGAN学，我们从负样本空间采样（未点击过的或者没有标签的数据集），作为生成的样本。

注意，这里给负样本空间下了一个定义：未点击过的或者没有标签的数据集

接下来就是具体的模型描述

先把一些符号含义明确一下：
U = L u ∪ { S M } , L u = { S 1 , . . . , S i , . . . , S M − 1 } U=L_u \cup \{S_M\}, L_u = \{S_1,...,S_i,...,S_{M-1} \} U=Lu​∪{SM​},Lu​={S1​,...,Si​,...,SM−1​}
$M$是用户$u$的session数量。每一个Session $S_i$都包含了一系列queries， 每一个queries都包含一个string和一个搜索引擎返回的文档列表。
如果单说$d$时，隐含意思是用户$u$提出的$q$的结果里面的一个文档$d$。

$p_{true}(d\mid q,U,r)$表示对于用户$u$，query $q$，文档的相关性的真实分布。
discriminator： $f_{\varphi }(d,q,U)$。努力学习真实的样本相关性分布，来分辨对于$q$,$U$来说相关的文档和无关的文档。

generator： $p_{\theta }(d\mid q,U,r)$。通过生成器$g_{\theta }$努力学习一个接近$p_{true}(d\mid q,U,r)$的分布$p_{\theta }(d\mid q,U,r)$，基于该分布来生成负样本。

优化目标：
$$J^{G^{\ast },D^{\ast }}=\underset{\theta }{\min }\underset{\varphi }{\max }\sum _{q\in Q}({\mathbb{E}}_{d\sim p_{true}(d\mid q,U)}\log D_{\varphi }(d\mid q,U)+{\mathbb{E}}_{d\sim p_{\theta }(d\mid q,U)}\log (1-D_{\varphi }(d\mid q,U)))$$
$p_{\theta }(d\mid q,U)$就是G，$D_{\varphi }$表示分类器，输出相关可能性：
$$D_{\varphi }(d\mid q,U)=\sigma (f_{\varphi }(d,q,U))=\frac{\exp f_{\varphi }(d,q,U)}{1+\exp f_{\varphi }(d,q,U)}$$
分类器的优化：
$${\varphi }^{\ast }=\arg \underset{\varphi }{\max }\sum _{q\in Q}({\mathbb{E}}_{d\sim p_{true}(d\mid q,U)}\log D_{\varphi }(d)+{\mathbb{E}}_{d\sim p_{\theta }(d\mid q,U)}\log (1-D_{\varphi }(d)))$$
论文中把训练集变成了正负样本对的形式，这样把公式转变成：
$${\varphi }^{\ast }=\arg \underset{\varphi }{\max }\sum _{q\in Q}({\mathbb{E}}_{d_{+},d_{\theta }}\log D_{\varphi }(d)+\log (1-D_{\varphi }(d)))$$
$d_{+}$从 $p_{true}(d\mid q,U,r)$中采样，$d_{-}$ 从 $p_{\theta }(d\mid q,U,r)$中采样

进一步简化为
$${\varphi }^{\ast }=\arg \underset{\varphi }{\max }\sum _{q\in Q}({\mathbb{E}}_{d_{+},d_{\theta }}\log D_{\varphi }(d)-\log D_{\varphi }(d))$$

更进一步：
基于生成概率添加一个权重$r_{\theta }(d_{+},d_{-})$，表示当前这个文档对的重要程度
$$r_{\theta }(d_{+},d_{-})=p_{\theta }(d_{\theta }\mid q,U,r)-p_{\theta }(d_{+}\mid q,U,r)$$
当$p_{\theta }(d_{\theta }\mid q,U,r)$较大而$p_{\theta }(d_{+}\mid q,U,r)$较小时，说明$d_{\theta }$难以分辨，对于这种困难样本对，应该重点关注，因此对应的权重大。

生成器的优化：
文中只给出了梯度计算公式：
${\nabla }_{\theta }{J}^G(q)\cong \frac{1}{|D^{{}^{\prime }}|}\sum _{d\in D^{{}^{\prime }}}{\nabla }_{\theta }\log p_{\theta }(d\mid q,U)\log (1+\exp (f_{\varphi }(d)))$
( $D^{{}^{\prime }}$ 表示生成的样本，也就是从负样本集里选出来的相关性较高的样本）
通过查阅IRGAN相关论文和博客，整理出改梯度公式的推导过程如下：

原始的优化目标如下：
$${\theta }^{\ast }=\arg \underset{\varphi }{\min }\sum _{q\in Q}({\mathbb{E}}_{d\sim p_{true}(d\mid q,U)}\log D_{\varphi }(d)+{\mathbb{E}}_{d\sim p_{\theta }(d\mid q,U)}\log (1-D_{\varphi }(d)))$$
$$==>{\theta }^{\ast }=\arg \underset{\varphi }{\min }\sum _{q\in Q}({\mathbb{E}}_{d\sim p_{\theta }(d\mid q,U)}\log (1-D_{\varphi }(d)))$$
$$==>{\theta }^{\ast }=\arg \underset{\varphi }{\max }\sum _{q\in Q}({\mathbb{E}}_{d\sim p_{\theta }(d\mid q,U)}log(1+\exp (f_{\varphi }(d)))$$
(注意这里比较特殊的是优化目标是最大值)
$$==>{\nabla }_{\theta }{J}^G(q)={\nabla }_{\theta }{\mathbb{E}}_{d\sim p_{\theta }(d\mid q,U)}\log (1+\exp (f_{\varphi }(d)))$$
$$==>{\nabla }_{\theta }{J}^G(q)=\frac{1}{M}\sum _{i=1}^m{\nabla }_{\theta }{p}_{\theta }(d_i\mid q,U)\log (1+\exp (f_{\varphi }(d)))$$
$$==>{\nabla }_{\theta }{J}^G(q)=\frac{1}{M}\sum _{i=1}^M{p}_{\theta }(d_i\mid q,U){\nabla }_{\theta }\log (p_{\theta }(d_i\mid q,U))\log (1+\exp (f_{\varphi }(d)))$$
$$==>{\nabla }_{\theta }{J}^G(q)={\mathbb{E}}_{d\sim p_{\theta }(d\mid q,U)}{\nabla }_{\theta }\log (p_{\theta }(d_i\mid q,U))\log (1+\exp (f_{\varphi }(d)))$$
$$==>{\nabla }_{\theta }{J}^G(q)=\frac{1}{K}\sum _{i=1}^K{\nabla }_{\theta }\log (p_{\theta }(d_i\mid q,U))\log (1+\exp (f_{\varphi }(d)))$$
其中M表示所有负样本的数量，K表示按照$p_{\theta }(d_i\mid q,U))$采样出的生成样本的数量，以采样数据来近似期望。

上面讲了生成器和分类器的优化公式，接下来我们详细讲一下两种生成器：

基于文档的生成器：

停留时间超过30s的点击以及一个session里最后一次click,当作满意的点击（文档），把正样本上方被跳过的那些文档以及下一个没被点击的文档当作无关文档。

对于这个模型，生成器和分类器的模型结构一致。

我们先看看分类器的结构：

对于当前的用户$U$和query $q$，$f_{\varphi }(d)=scor{e}_{\varphi }(d|q,S_M,S_{M-1},...,S_1)$
可以把$f_{\varphi }(d)$分为三个部分：一部分计算d和q的相关性，一部分计算d和当前用户短期描述文件的相关性，一部分计算d和当前用户长期描述文件的相关性：
$$f_{\varphi }(d)=F_f(scor{e}_{\varphi }(d\dim q),scor{e}_{\varphi }(d\dim L_u),scor{e}_{\varphi }(d\dim S_M)$$
$L_u$表示长期描述，$S_M$表示短期描述，$F_f$是一层把三个score连接在一起的神经网络。
下面是作者在HRNN基础上设计的HRNN+网络结构，作为分类器和基于文档的生成器的网络结构：
下面介绍HRNN+网络结构：

对于$scor{e}_{\varphi }(d\mid q)$:

根据SLTB提取文档的原始排序，点击熵和其他典型的特征作为相关特征$r_{q,d}$：
$$scor{e}_{\varphi }(d\dim q)=tanh(F_q(r_{q,d}))$$

对于$scor{e}_{\varphi }(d\mid S_M)$:
RNN的第$i$步的输入$x_i$是每一个query及其相关\无关文档的向量表示：
$x_i=[q_i,v_{d_i^{+}},v_{d_i^{-}}]$
$q_i$是query的字符串的向量表示，$v_{d_i^{+}}$是$q_i$所有相关文档的平均向量，$v_{d_i^{-}}$是所有无关文档的平均向量。
对于$S_M$中有$n$个query的用户来说，用户的短期描述形式就是RNN的最后一步输出：
$$h_M^1=RNN(h_{M,n-1}^1,x_n)$$(上标1表示第一层RNN，也就是上图中最下面的一层RNN）
那么：
$$scor{e}_{\varphi }(d\mid S_M)=tanh(F_s(h_M^1,d))$$

对于$scor{e}_{\varphi }(d\mid L_u)$:

把第一层RNN的历史输出作为第二层RNN的输入：$h_i^2=RNN(h_{i-1}^2,h_i^1)$
同时使用attention机制对于历史输出附权重：
$${\alpha }_i=softmax(e_i)=\frac{\exp (e_i)}{{\sum }_{i=1}^{i=M-1}\exp (e_i)}$$
$e_i=u_i^T{u}_d$,其中，$u_i=tanh(F_d(q,h_i^2))$，代表$q$和Session $S_i$的匹配程度，个人理解$u_d$表示的是q和当前Session的匹配程度，这样$e_i$可以表示$q$和$S_i$和当前上下文的匹配程度，进而${\alpha }_i$可以表示$S_i$的权重。
进而该用户的长期描述可以表示为：$h_{M-1}^2={\sum }_{i=1}^{M-1}{\alpha }_i{h}_i^2$
$$scor{e}_{\varphi }(d\mid L_u)=tanh(F_l(h_{M-1}^2,d))$$

上面介绍的$f_{\varphi }$直接作为分类器的公式，不过HRNN+和PSGAN的分类器区别是，对于HRNN+，$f_{\varphi }$的正负样本就是历史数据，是固定的，测试时输出每个文档的相关性，并基于这个生成排序序列。而基于文档的模型里$f_{\varphi }$需要反复训练，每次的训练数据都会被生成器更新（主要更新负样本）

接下来深入聊聊生成器：

他的目标是从候选文档集里选择一个看起来是相关文档的负样本。生成器公式可以如下表示：
$$g_{\theta }(d,q,U)=F_g(scor{e}_{\theta }(d\mid q),scor{e}_{\theta }(d\mid S_M),scor{e}_{\theta }(d\mid L_u))$$
那么我们用生成器来逼近真实样本分布的分布概率$p_{\theta }$如下:
$$p_{\theta }=\frac{\exp (g_{\theta }(d,q,U))}{{\sum }_{d\in D^{{}^{\prime }}}\exp (g_{\theta }(d,q,U))}$$
可以根据这个分布采样作为负样本，带入前面提到的PSGAN优化公式里

基于生成查询的模型：

分类器还是上述的分类器，我们只聊生成器
由于当前的query可能会和用户的意图有偏差，因此为了更好的估计用户的意图，提出了这个模型，可以根据用户的历史记录来生成一些看起来和用户意图一致的queries，进而评估文档的相关性。作者的想法是根据分类器的反馈来使得生成器拟合相关queries的分布。
定义$g_{\theta }(q^{\prime }\mid q,U)$为生成器的公式。query的生成概率如下：
$$p_{\theta }(q^{\prime }\mid q,U)=softmax(g_{\theta }(q^{\prime }\mid q,U))$$
对于每一个生成的query，也可以计算文档的相关性的概率分布：
$$p_{\theta }(d\mid q^{\prime })=softmax(f_{\varphi }(d,q^{\prime },U))\equiv p_{\varphi }(d\mid q^{\prime })$$
$$p_{\theta }(d\mid q)=\sum _{q^{\prime }}{p}_{\theta }(d\mid q^{\prime })p_{\theta }(q^{\prime }\mid q,U)=\sum _{q^{\prime }}{p}_{\varphi }(d\mid q^{\prime })p_{\theta }(q^{\prime }\mid q,U)$$
这样生成器的梯度公式变成如下：
$${\nabla }_{\theta }{J}^G(q)=\frac{1}{K}\sum _{i=1}^K{\nabla }_{\theta }\log (p_{\theta }(q^{{}^{\prime }}\mid q,U)p_{\varphi }(d\mid q^{{}^{\prime }})\log (1+\exp (f_{\varphi }(d)))$$
由于$\log (1+\exp (f_{\varphi }(d)))$和$p_{\varphi }(d\mid q^{{}^{\prime }})$都可以看成是分类器的反馈，所以对于生成器的优化可以看做是使得生成器越来越一致于用户意图
接下来详细说说生成器的结构：
使用了seq2seq模型
这里也是同时考虑了长期历史和短期历史（当前session），使用两个子结构来编码长期描述和短期描述。

对于长期描述：
假设$L_u$里有m个query，RNN的输入就是 { q 1 , q 2 , . . . , q m } \{q_1,q_2,...,q_m\} {q1​,q2​,...,qm​}每当有一个新的$q_i$输入的时候，都有$h_i=RNN(h_{i-1},q_i)$

对于当前session的描述：
设当前session里有$n$个query使用了层级RNN，先对每一个query的terms使用双向RNN处理来编码query，对于第一层的RNN输出作为第二层RNN的输入来编码当前session描述：
对第一层：
$\overrightarrow{h_t^w}=RNN(\overrightarrow{h_{t-1}^w},w_t)$，$\overleftarrow{h_t^w}=RNN(\overleftarrow{h_{t+1}^w},w_t)$，$h_t^1=[\overrightarrow{h_t^w},\overleftarrow{h_t^w}]$
对第二层：
$h_i^2=RNN(h_{i-1}^2,h_i^1)$
对于解码器：
使用短期描述的最后一个输出初始化状态：$s_0=tanh(F_h(h_n^2))$，可以把$s_0$理解为初始语境（query一个单词都没输入时的状态，每输入一个单词s状态更新一次）。
判断$q^{{}^{\prime }}$的第$t$个单词的生成概率，是通过比较单词的编码与长期描述和短期描述的隐藏状态直接的相似性来确定的：
$${\alpha }_{t,i}^L=softmax(u_i^T{u}_m),u_i=u_{t,i}^L=tanh(F_m(s_{t-1},h_i))$$
个人理解$u_m$这一项的意义是把整体的长期描述的状态引入，使得$(u_i^T{u}_m)$可以更好的表示$s_{t-1}$，$h_i$(第i个query的隐藏状态)和整体long-term 编码之间的相似度。
$$h_t^L=\sum _i{\alpha }_{t,i}^L{h}_i$$
$${\alpha }_{t,i}^{SH}=softmax((u_{t,i}^{SH}{)}^T{u}_n),u_{t,i}^{SH}=tanh(F_n(s_{t-1},h_i^2))$$
$$h_t^{SH}=\sum _i{\alpha }_{t,i}^{SH}{h}_i^2$$
这样就可以生成一个上下文向量，来作为解码器选择下一项（单词）的依据之一：
$c_t=[h_t^L,h_t^{SH}]$
于是可以计算单词生成概率：（其中，$w_i$表示第$i$个单词向量）
$$P(w_t\mid w_1,w_2,...,w_{t-1},c_t)=softmax(F_o(RNN(s_{t-1},[c_t,w_t])))$$
生成的query $q^{{}^{\prime }}$可以如下表示：$q^{;}=[w_1,w_2,...,w_k]$
$$g_{\theta }(q^{{}^{\prime }},q,U)=\prod _{i=1}^{n}P(w_i\mid w_1,w_2,...,w_{i-1})$$
把上面的生成器表示形式带入之前提到的公式里就可以计算出$p_{\theta }(d\mid q)$

现在还有一个问题：$w_i$从哪儿来呢？
如果直接生成一个query的话无法保证query在用户的历史记录里出现过，如果没出现过就更不会有点击记录，也就没办法计算$p_{\varphi }(d\mid q^{{}^{\prime }})$
所以作者只在搜索记录里出现过的query形成的candidates list里挑选合适的query来生成。
如何生成candidates list呢？给所有的query排个序吧，选前10个
$$R(q_j\mid q)=e(q,q_j)+s(q,q_j)+f(q,q_j)+r(q,q_j)$$

1. 当$q_j$是$q$的扩充的时候,$e(q,q_j)=\frac{len(q_j)-len(q)}{len(q)}$，否则$e(q,q_j)=0$，这样当$q_j$包含的扩充单词越多时，相比于$q$越具体
2. $s(q,q_j)=sim(q,q_j)$是$q$和$q_j$之间的相似性
3. $f(q,q_j)=\frac{n_{q,q_j}}{n_q}$，$n_{q,q_j}$是两个query在同一时间同一session同时出现的次数。$n_q$表示的是query $q$出现在query log里的所有的次数。
4. $r(q,q_j)=\frac{c_{q,q_j}}{c_q}$，$c_{q,q_j}$是在query $q$和query $q_j$下都被点击过的URL的数量，$c_q$是query $q$下点击的URL的数量。
   确定了query candidates list后，就可以计算$g_{\theta }(q^{{}^{\prime }}\mid q,I)==>p_{\theta }(q^{{}^{\prime }}\mid q,U)==>p_{\theta }(d\mid q,U)$

允许生成器选择当前输入的query $q$作为$q^{{}^{\prime }}$，所以candidates list里也要有$q$。

以上就是PSGAN的结构内容，下面我们聊聊作者文中用来评价模型的几个指标：

1. MAP（Mean Average Precision）： 每个query的平均准确率的平均值。一个query的平均准确率：假设对于一个query q，个性化搜索方法返回的文章里满意文章的等级分别是1,3,5,7，平均准确率是：(1/1 + 2/3 + 3/5 + 4/7)/4=0.71。MAP就是所有query的平均准确率的平均值。（越大越好）
2. MRR（Mean Reciprocal Rank)）： 是把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度，再对所有的问题取平均。(黑体为返回结果中最匹配的一项)
   可计算这个系统的MRR值为：(1/3 + 1/2 + 1)/3 = 11/18=0.61。（越大越好）
3. Avg.Click：满意点击文档的平均等级位置。当Avg.Click越小，说明满意结果排序越高。（越小越好）
4. #Better：由于搜索引擎返回的初始排序对于用户选择有一定的影响，所以把满意点击上方被跳过的文档以及满意点击的下一个文档当作不相关的文档是十分可靠的。所以可以构建两种文档对：满意文档+被跳过的文档/满意文档+未点击的下一个文档。对于第一种文档对，重排序只会产生更好的结果（满意文档排到了被跳过的前面），或者结果不变，不会产生更差的结果，所以#Better表示：重排序后产生更好结果的这类文档对的数量。（越大越好）
5. #Worse：对于第二种文档对，重排序只会产生更差的结果，所以#Worse表示的是：重排序后产生更差结果的这类文档对的数量。（越小越好）

最后我们简单说一下作者的几个实验方向：

1. 直接对所有数据训练，然后比较结果。
2. 把数据集分为点击熵<1 和点击熵>1两类，分别实验对比结果。
3. 把数据集分为查询过的queries和没查询过的queries。

有不足的地方欢迎评论指正=v=