Wide&Deep简介(二)

1. 核心思想

        W&D的核心思想是结合线性模型的记忆能力和DNN模型的泛化能力，进行两个模型的联合训练（在训练过程中同时优化2个模型的参数），从而兼顾推荐的准确性和多样性。

        整个模型的输出是线性模型输出与DNN模型输出的叠加。模型训练采用的是联合训练，训练误差会同时反馈到线性模型和DNN模型中进行参数更新。

        因此在模型的特征设计阶段，wide和deep只需要分别专注于擅长的方面，wide端模型通过离散特征的交叉组合进行memorization，deep端模型通过特征的embedding进行generalization，这样单个模型的大小和复杂度也能得到控制，而整体模型的性能仍能得到提高。

2. Wide记忆能力

1. 从历史数据中学习共现的物体/特征组合；

2. 在预测的时候利用到这种学习到的这种相关性。

        LR属于广义线性模型，本身不具备对特征之间非线性关系进行建模。所以需要我们从历史数据中找到有用的特征组合（当然也可以使用一些工具来找到哪些特征组合是有效的），人为的加入到模型中，给LR模型增添非线性建模能力。简单来说，记忆能力是一种共现规律，表现方式为特征交叉，它需要人为或者通过工具从历史数据中找到，并放入到模型中作为新的特征，从而增加非线性建模能力。

        使用多类型的叉乘特征变换，记忆特定的特征组合，但它的限制就是难以归纳以前没出现过