Deep & Cross 学习笔记

引言

Deep & Cross模型来自于2017年的KDD论文：《Deep & Cross Network for Ad Click Predictions》。该模型可以看作是Wide & Deep模型的延续，着眼于解决特征交叉问题。

研究动机

传统的特征交叉都需要学者进行人工定义，过程较为繁琐。深度神经网络（DNNs）虽然可以自动完成特征交叉过程，节省了人工操作。但是，DNNs的特征交叉操作是自动且隐式(implicit)的：无法显式地判断哪些特征组合是有利的，并且对所有特征组合都进行计算，网络参数呈现爆炸趋势。

Deep & Cross的主要创新点就是提出了Cross Network，综合了人工定义和深度神经网络的优点，使用网络层权重进行有限的特征组合，既削减了网络参数，又达到人为控制交叉力度的目的。

上图是Deep & Cross的网络结构图。可以看出，原始的输入向量先通过一个Embedding层得到$x_0$ ：
$$x_0=[x_{embedd,1}^T,....,x_{embedd,k}^T,x_{dense}^T]$$
然后分别通过 Deep Network和Cross Network。Deep Network的表达式是：
$$h_{l+1}=ReLU(W_{h,l}{x}_l$$