VariableX的博客

之前的文章讲解了DIEN模型：CTR深度学习模型之 DIEN(Deep Interest Evolution Network) 的理解与示例，而这篇文章要讲的是DSIN模型，它与DIEN一样都从用户历史行为中抽取兴趣表示，但不同的是DSIN把历史行为划分成了不同的Session，并且使用Transformer对每个Session内的行为抽取特征。模型解读整体模型的结构如下：首先看看右下部分的矩形区域，这部分主要是对用户的行为序列建模，其中包含了4个子模块。1. Session Divsion La

本文介绍阿里提出的兴趣进化网络(Deep Interest Evolution Network，以下简称DIEN。前一篇文章介绍的 DIN 模型如下图所示：DIN 直接把用户的某个行为作为用户的兴趣，在实际的电商场景中这并不完全准确。用户的兴趣受到环境因素与自身因素的影响，会不断的变化。例如用户会在一段时间内关注手机相关的商品，另一段时间内又会关注书籍相关的商品，而手机与书籍之间的关系就比较小了。本文的介绍的 DIEN 模型就是要捕捉用户兴趣的演变过程。DIEN 仍然采用了 attention 机制

在电商领域，每个用户都有丰富的历史行为数据，这些数据具有如下特点：多样性（Diversity）：用户可能对多种商品感兴趣，例如手机、衣服。局部激活（Local Activation）：用户是否点击新商品，仅仅取决于历史行为中与新商品相关度高的部分数据。如何从中捕获特征对CTR预估模型非常重要。论文 《Deep Interest Network for Click-Through Rate Prediction 提出了深度兴趣网络 Deep Interest Network，以下简称 DIN

本篇文章讲解 xDeepFM 的 tensorflow2.0 实现，并使用 Criteo 数据集的子集加以实践。如果在看本文时有所困惑，可以看看 xDeepFM 的相关理论：CTR 模型之 Deep & Cross (DCN) 与 xDeepFM 解读。本文使用的数据下载地址于代码获取地址在文末获取。首先了解一下 Criteo数据集，它由有39个特征，1个label列，其中以I开头的为数值型特征，以C开头的为类别特征：可以看到数据中有缺失值需要填充，并且类别变量需要进行类别编码(onehot

本篇文章讲解 DeepFM 的 tensorflow2.0 实现，并使用 Criteo 数据集的子集加以实践。如果在看本文时有所困惑，可以看看DeepFM的相关理论：CTR 模型之 Deep & Cross (DCN) 与 xDeepFM 解读。本文使用的数据下载地址于代码获取地址在文末获取。首先了解一下 Criteo数据集，它由有39个特征，1个label列，其中以I开头的为数值型特征，以C开头的为类别特征：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pTS

本篇文章讲解 CTR 经典模型 Deep & Cross (DCN) 与 xDeepFM，之所以把这两个模型放一起讲是因为它们有很近的“血缘关系”。理解了 DCN 的思想，再去理解 xDeepFM 就不觉得困难了。以下文章对这两个模型的讲解很到位：首先了解揭秘 Deep & Cross : 如何自动构造高阶交叉特征推荐系统遇上深度学习(二十二)–DeepFM升级版XDeepFM模型强势来袭！xDeepFM：名副其实的 ”Deep” Factorization Machine因此，本

本篇文章讲解 DeepFM 的 tensorflow2.0 实现，并使用 Criteo 数据集的子集加以实践。如果在看本文时有所困惑，可以看看DeepFM的相关理论： CTR深度学习模型之 DeepFM 模型解读 。本文使用的数据下载地址于代码获取地址在文末获取。首先了解一下 Criteo数据集，它由有39个特征，1个label列，其中以I开头的为数值型特征，以C开头的为类别特征：可以看到数据中有缺失值需要填充，并且类别变量需要进行类别编码(onehot 编码的任务交给模型)，这部分预处理的代码不详

上一篇文章讲了一些比较经典的 CTR 模型：CTR经典模型串讲：FM / FFM / 双线性 FFM 相关推导与理解，从这一篇文章开始将会陆续介绍一些使用深度学习完成CTR预估的模型，本文主要讲的是DeepFM模型。之前讲的 FM、FFM、Bi-FFM 本质上都是要学习户点击行为背后隐含的特征组合，不过这些经典模型主要是进行二阶特征组合。理论上也可以进行更高阶的特征组合，但是会造成特征维度指数级增长以及数据稀疏等问题。对于高阶特征组合问题不难想到可以用多层的神经网络解决。DeepFM 的整体结构对于类

FM在计算广告领域，因子分解机(Factorization Machines，FM)是很经典的模型，面对量大且稀疏的数据，此算法仍然可以取得比较优秀的效果。假设有下面的数据：Clicked?CountryDayAd_type1USA26/11/15Movie0China1/7/14Game1China19/2/15Game其中，Clicked? 是label，Country、Day、Ad_type是特征。由于三种特征都是类别型的，需要经过独热

CTR预估早期使用最多的方案是逻辑回归(LR)，LR 性能非常高，但是其效果十分依赖于大量的特征工程。但是手动构造许多有用特征费时费力，因此需要有更自动化的方法来发现有效特征并构造组合特征。2004 年Facebook 在论文 Practical Lessons from Predicting Clicks on Ads at Facebook 中提出的 GBDT + LR 模型给出了一个可行的解决方案。GBDT + LR 模型基本思想GBDT 基于集成学习中的boosting思想，每次迭代都在减少