[论文笔记]Learning Deep Structured Semantic Models for Web Search using Clickthrough Data

[论文笔记]Learning Deep Structured Semantic Models for Web Search using Clickthrough Data

Abstract

• DSSM是一个判别模型.
• 训练方式:极大化给定query条件下,被点击的文档的条件似然(样本是clickthrough data).
• 为了能够用于大规模搜索应用,使用了word hash技术

Introduction

• 背景:搜索引擎很大程度上,还是用query中的keyword匹配文档的方式.问题:不准确,因为同一个概念在doc和query中可能用不同的词汇.
• 老办法:隐含语义模型
  
  • 问题:使用非监督方式训练.目标函数和搜索任务中的效果好坏不是强相关.
• 现在发展的两条主线
  
  • 使用点击数据
    – (待补充)
  • 通过deep autoencoder来扩展语义模型
    – 本质:通过dl来提取query和doc中的层次语义结构
    – 实例:卷积LSA
    – 问题1:训练的方式还是无监督的-通过重建文档来优化参数.而不是通过对比query下有点无点doc来优化,所以性能不能明显优于关键词匹配.
    – 问题2:语义哈希模型不能大规模应用,因为有巨大的矩阵相乘.
    – 作者说训练大词典的语义模型,对于真实世界的web搜索任务非常关键.

-论文工作
- 应用步骤: 1.投影query和doc 2.cosine
- 训练方式:
- word hashing: 将query和doc的高维term向量投影到”低维 基于letter n-gram”向量,并且不会有很多信息损失. (这应该是重点)

相关工作

本工作基于两个已有工作

LSM 和点击数据的使用

LSM由来已久,主要由两种.
-线性投影模型
- 典型例子:LSA (待补充)
- 翻译模型(待补充)

深度学习

autoencoder
sementic hashing
两个步骤:
- 生成模型栈
- 通过最小化原始term向量/重建term向量的交叉熵.
问题:
- 优化方式是通过重建,而不是比较有点无点.
- 性能较差,只能处理2000词汇表
后面作者的方案解决了这个问题.

3 针对网页搜索的DSSM

3.1 通过DNN计算语义特征

3.2 Word Hashing

-目的:bow的维度太高,需要降维
-基础:letter n-gram
-问题:冲突
-优点:
– 英语单词量可以是无限的,但是letter n-gram经常是有限的
– 一个单词的不同变形在letter n-gram空间通常比较接近.
– 基于word的表示很难处理新词,lng可以
– 唯一的风险就是冲突
-直观理解:lng-based word hashing可以看成一种固定(非适应)线性变化

3.3 Learning DSSM

选取4个负样本

3.4 实现细节

---

http://doc.mbalib.com/view/60d68fca09c03ade3a4dfe2a3617fcac.html

基于神经网络语言模型的DSSM模型优化

摘要

问题:
-word hashing会让维度大大增加
-dssm没有利用顺序,以及语义之间的关系
方案:
基于字词联合训练

0 引言

word hashing的缺点:
-中文字做trigram的话,维度太高
-忽略顺序
方案:
同时优化字向量和词向量

1 相关工作

1.1 神经网络语言模型

1.2 DSSM

2 基于神经网络语言的DSSM