m0_53259482的博客

Wide＆Deep模型是由单层的 Wide部分和多层的 Deep部分组成的混合模型。其中，Wide部分的主要作⽤是让模型具有较强的“记忆能⼒”；Deep部分的主要作⽤是让模型具有“泛化能⼒”，正是这样的结构特点，使模型兼具了逻辑回归和深度神经⽹络的 优点——能够快速处理并记忆⼤量历史⾏为特征，并且具有强⼤的表 达能⼒。“记忆能⼒”可以被理解为模型直接学习并利⽤历史数据中物品或 者特征的“共现频率”的能⼒。⼀般来说，协同过滤、逻辑回归等简单 模型有较强的“记忆能⼒”。

ROC曲线的横坐标为False Positive Rate（FPR，假阳性率），所有负样本中被错判为正的样本数所占的比例，显然，我们不希望该指标太高。纵坐标为True Positive Rate（TPR，真阳性率），所有正样本中真正为正样本的样本所占比例，当然，我们希望真阳率越高越好。​​​​​​​。

FFM模型采⽤引⼊特征域的⽅式增强了模型的特征交叉能⼒，但 ⽆论如何，FFM只能做⼆阶的特征交叉，如果继续提⾼特征交叉的维 度，会不可避免地产⽣组合爆炸和计算复杂度过⾼的问题。

逻辑回归模型表达能⼒不强的问题，会不可避免地造成有效信息 的损失。在仅利⽤单⼀特征⽽⾮交叉特征进⾏判断的情况下，有时不 仅是信息损失的问题，甚⾄会得出错误的结论。

逻辑回归模型的推断过程可以分为如下⼏步：（1）将特征向量x=（x1，x2，…，xn）作为模型的输⼊。（2）通过为各特征赋予相应的权重（w1，w2，…，wn+1），来表 ⽰各特征的重要性差异，将各特征进⾏加权求和，得到x Tw。（3）将xTw输⼊ sigmoid 函数，使之映射到 0～1 的区间，得到最 终的“点击率”。综上，逻辑回归模型整个推断过程的数学形式对于标准的逻辑回归模型来说，要确定的参数就是特征向量相应 的权重向量w。梯度下降法是⼀个⼀阶最优化算法，也称为最速下降法。

为解决UserCF和ItemCF协同过滤算法中头部效应明显，处理稀疏向量能力弱的问题，同时增加模型的泛化能⼒，矩阵分解技术被提出。

ItemCF 是基于物品相似度进⾏推荐的协同过滤算法。通过计算中物品列向量的相似度得到。

顾名思义，“协同过滤”就是协同⼤家的反馈、评价和意见⼀起对 海量的信息进⾏过滤，从海量信息中筛选出⽬标⽤户可能感兴趣的信息的推荐过程。图2-2描述了⼀个电商⽹站场景下的协同过滤推荐过程，其推荐过 程按照图2-2（a）～（f）的顺序共分为6步。明确商品库中的数据有哪些：电商⽹站的商品库⾥⼀共有4件商品：游戏机、某⼩说、某 杂志和某品牌电视机。 明确任务：⽤户X访问该电商⽹站，电商⽹站的推荐系统需要决定是否 推荐电视机给⽤户X。换⾔之，推荐系统需要预测⽤户X是否喜欢该品牌的电视机。为了进⾏这项预测

每个实例可以由元组表示，其中Iu表示用户u交互的项目集合（也称为用户行为），Pu表示用户u的基本简档（如用户性别和年龄），Fi表示目标项目的特征（如项目id和类别id）。item id 特征嵌入到低维密集向量中，显着减少了参数数量并简化了学习过程。user id、性别、年龄等，将相应的嵌入连接起来形成用户画像Pu。类别id、品牌id等相应的嵌入进一步通过平均池化层以形成对应的embeding。MIND的核心任务是学习一个函数，用于将原始特征映射到用户表示中，可以用公式表示为。

离线评估的基本原理是在离线环境中，将数据集分为“训练 集”和“测试集”两部分，⽤“训练集”训练模型，⽤“测试集”评估模型。根据的不同，离线评估可分为以下3种。

所以，DSIN就是从序列本身的特点出发，把一个用户的行为序列分成了多个会话，所谓会话，其实就是按照时间间隔把序列分段，每一段的商品列表就是一个会话，那这时候，会话里面每个商品之间的相似度就比较大了，而会话与会话之间商品相似度就可能比较小。图片下方的数字表示单击当前项目的时间与单击第一个项目的时间之间的时间间隔（以秒为单位），我们将她的行为序列分为3个会话。每次会话的时间间隔超过30分钟时，会话将按照这一原则进行划分。用户在会话1中主要浏览裤子，在会话2中主要浏览戒指，并且在会话3中主要浏览外套。

按时间线来看，用户行为序列建模的模型经历了polling, attention, RNN, Capsule，Transformer的发展路线。

所有T个兴趣点[h1，h2，· · ·，hT]的连接组成了兴趣演化层可以对其进行兴趣演化建模的兴趣序列。其中ea是来自范畴ad的域的嵌入向量，W ∈ RnH×nA，nH是隐藏状态的维数，nA是广告的嵌入向量的维数。对于行为特征bt，如果bt[jt] = 1，则其对应的嵌入向量是mjt，并且一个用户的行为的有序嵌入向量列表可以由eb = [mj 1;T是历史行为的个数，nE是嵌入维数，ei b [t] ∈ G表示用户i点击的第t个项目的嵌入向量，G是整个项目集。首先，将来自一个类别的嵌入向量送入池化操作。

传统的Embedding&MLP模型结构将原始特征嵌入到低维向量中，然后将其concat后输入MLP进行最终推荐。DIN提出使用注意力机制来捕获候选项与用户先前点击的项之间的相似性。然而，大多数这些工作，即用户点击的项目的顺序。实际上，顺序对于预测用户未来的点击很重要。例如，用户在淘宝上买了一部iPhone后，往往会点击手机壳，或者在买了一条裤子后，试图找到一双合适的鞋子。从这个意义上说，在淘宝排名阶段部署预测模型时，如果不考虑这一因素，就会出现问题。