DSSM的细节

word hashing

word hashing方法是用来减少输入向量的维度，该方法基于字母的n-gram。给定一个单词（good），我们首先增加词的开始和结束部分（#good#），然后将该词转换为字母n-gram的形式（假设为trigrams：#go，goo，ood，od#）。最后该词使用字母n-gram的向量来表示。

这种方法的问题在于有可能造成冲突，因为两个不同的词可能有相同的n-gram向量来表示, 但经统计发现冲突很小。与原始的ont-hot向量表示的词典大小相比，word hashing明显降低了向量表示的维度。

DSSM的输入层，是把1个句子的multi-hot向量，转成1个3-gram的multi-hot的向量，达到降维目的，其实也是bag-of-words，忽略了词之间的顺序。

 

负例样本，就是在该query检索出来的样本里，没有被点击的样本（最后一个点击样本之前的才算进去）；是不是该正例所在的query，还是所有同样query里的，就不清楚了。。。原文说，负例的采样方式(1正4负)，对最终效果的影响不大。我们公司肯定是用的该query展示而未点击过的样本，而不是和该query无关的样本，为的是在高质量的召回doc里强化更语义相关的doc，属于精化。

 

损失函数：最大化{经过softmax之后，Q和D+的相似度}   (Q和D-的相似度是分母，最小化分母就等价于最大化分子了)

论文中说需要挑出点击和曝光置信度比较高且资源热度也比较高的作为训练样本，这样就过滤了 80%的长尾 query 和 Title 结果对

从对比实验看出，效果提升主要来自：1.弱监督信息的引入(click, non-click)；2.word-hashing降维; 3.三个隐藏层；

 

优点：

• 解决了LSA、LDA、Autoencoder等方法存在的一个最大的问题：字典爆炸（导致计算复杂度非常高），因为在英文单词中，词的数量可能是没有限制的，但是字母n-gram的数量通常是有限的
• 基于词的特征表示比较难处理新词(未登录词, out-of-vocabulary)，字母的n-gram可以有效表示，鲁棒性较强
• 使用有监督方法，优化语义embedding的映射问题
• 省去了人工的特征工程

缺点：

• word hashing可能造成冲突
• DSSM采用了词袋模型，损失了上下文信息
• 在排序中，搜索引擎的排序由多种因素决定，由于用户点击时doc的排名越靠前，点击的概率就越大，如果仅仅用点击来判断是否为正负样本，噪声比较大，难以收敛; (可以把位置因素考虑进去，靠前的正例降权，靠前的负例加权）

对于中文而言，处理方式与英文有很多不一样的地方。中文往往需要进行分词，但是我们可以仿照英文的处理方式，将中文的最小粒度看作是单字（在某些文献里看到过用偏旁部首，笔画，拼音等方法）。因此，通过这种word hashing方式，可以将向量空间大大降低。

 

和RankNet的区别：

RankNet是pair-wise的，也就是<Q,D+>和<Q,D->两个相似度的差值，输入sigmoid，得到“胜出"概率，极大似然（交叉熵损失）；

DSSM是1个<Q,D+>和4个<Q,D->这些相似度，经过softmax，最大化<Q,D+>相似度的label是1的概率；

 

C-DSSM

最后基于卷积的模型，要比原始的模型好10%左右，所以需要思考，为什么一个卷积的引入，就会造成这么大的性能提升？

1. Bag of Words算法是有问题的，单词之间的相关性，句法等相关，都因为求了一个Set操作，被消失殆尽，所以作者引入了卷积，这样卷积核就可以看到3个单词，捕捉到3个单词之间的相关性。

2. Maxpooling，这种pooling方式确实可以保证最后任务相关层的特征信息最有用话，因为这个神经元之间是激活-响应的关心，肯定是激活得越大，证明该神经元约起作用，如果使用AveragePooling可能会因为神经元太多，把一些有用的信息平均掉。

C-DSSM卷积操作仍然有很大的提升空间，因为一层的卷积只能看到3个单词，这仍然有问题，句子的信息仍然没有捕捉到，说到底是感受野的问题，这个地方可以通过多层的卷积解决。

 

百度SimNet

2013年，用了WordEmbedding做输入！

用了句子-句子匹配度矩阵做卷积输入！

 

百度最近技术