[论文笔记]Learning Deep Structured Semantic Models for Web Search using Clickthrough Data-优快云博客

[论文笔记]Learning Deep Structured Semantic Models for Web Search using Clickthrough Data

Abstract

DSSM是一个判别模型.
训练方式:极大化给定query条件下,被点击的文档的条件似然(样本是clickthrough data).
为了能够用于大规模搜索应用,使用了word hash技术

Introduction

背景:搜索引擎很大程度上,还是用query中的keyword匹配文档的方式.问题:不准确,因为同一个概念在doc和query中可能用不同的词汇.
老办法:隐含语义模型
- 问题:使用非监督方式训练.目标函数和搜索任务中的效果好坏不是强相关.
现在发展的两条主线
- 使用点击数据
  – (待补充)
- 通过deep autoencoder来扩展语义模型
  – 本质:通过dl来提取query和doc中的层次语义结构
  – 实例:卷积LSA
  – 问题1:训练的方式还是无监督的-通过重建文档来优化参数.而不是通过对比query下有点无点doc来优化,所以性能不能明显优于关键词匹配.
  – 问题2:语义哈希模型不能大规模应用,因为有巨大的矩阵相乘.
  – 作者说训练大词典的语义模型,对于真实世界的web搜索任务非常关键.

-论文工作
- 应用步骤: 1.投影query和doc 2.cosine
- 训练方式:
- word hashing: 将query和doc的高维term向量投影到”低维基于letter n-gram”向量,并且不会有很多信息损失. (这应该是重点)

3 针对网页搜索的DSSM

3.1 通过DNN计算语义特征

3.2 Word Hashing

-目的:bow的维度太高,需要降维
-基础:letter n-gram
-问题:冲突
-优点:
– 英语单词量可以是无限的,但是letter n-gram经常是有限的
– 一个单词的不同变形在letter n-gram空间通常比较接近.
– 基于word的表示很难处理新词,lng可以
– 唯一的风险就是冲突
-直观理解:lng-based word hashing可以看成一种固定(非适应)线性变化