《Learning Deep Structured Semantic Models for Web Search using Clickthrough Data 》论文总结

1.背景

DSSM是Deep Structured Semantic Model的缩写，即我们通常说的基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。

2. DSSM

2.1简介

DSSM [1]（Deep Structured Semantic Models）的原理很简单，通过搜索引擎里 Query 和 Title 的海量的点击曝光日志，用 DNN 把 Query 和 Title 表达为低纬语义向量，并通过 cosine 距离来计算两个语义向量的距离，最终训练出语义相似度模型。该模型既可以用来预测两个句子的语义相似度，又可以获得某句子的低纬语义向量表达。

DSSM 从下往上可以分为三层结构：输入层、表示层、匹配层

典型的DNN结构是将原始的文本特征映射为在语义空间上表示的特征。DNN在搜索引擎排序中主要是有下面2个作用：

1. 将query中term的高维向量映射为低维语义向量
2. 根据语义向量计算query与doc之间的相关性分数

通常， x用来表示输入的term向量， y表示输出向量， l_{i}，i=1,...,N-1 表示隐藏层， Wi表示第 i层的参数矩

阵， bi表示 第 i个偏置项。