Google2017的Deep&Cross Network

Deep & Cross Network总结

在工业界的实践效果不如Wide&Deep和DeepFM那么好；（和WDL的效果基本持平）

 

揭秘 Deep & Cross : 如何自动构造高阶交叉特征

Google 对 Wide & Deep的一个后续研究；将Wide部分替换为由特殊网络结构实现的Cross，自动构造有限高阶的交叉特征，并学习对应权重，告别了繁琐的人工叉乘。（FM仅限于二阶叉乘）

Cross网络的网络参数很少，同等量的参数下DCN的效果更好；

文中对原始特征做如下处理：1) 对sparse特征进行embedding，对于multi-hot的sparse特征，embedding之后再做一个简单的average pooling；2) 对dense特征归一化，然后和embedding特征拼接，作为随后Cross层与Deep层的共同输入。

1) 每层的输入输出维度都是相等的；

2) 受残差网络（Residual Network）结构启发，每层的FeatureCrossing拟合的是Output-Input残差；残差网络可以处理梯度消失的问题，使网络可以“更深”.

例子：假设输入特征x0只有2维，Cross有2层

可以看到  包含了原始特征  从一阶到二阶的所有可能叉乘组合，而  包含了其从一阶到三阶的所有可能叉乘组合

可以看到x1包含了原始特征 x0从一阶到二阶的所有可能叉乘组合，而 x2包含了其从一阶到三阶的所有可能叉乘组合。