Yasin的博客

淘宝猜喜端上重排

Transformer整个网络结构由且仅由self-Attenion和Feed Forward Neural Network组成。(Transformer is the first transduction model relying entirely on self-attention to compute representations of its input and output without using sequence aligned RNNs or convolution。)注意力机制（

https://time.geekbang.org/column/article/294382

用户、商品、上下文

https://lumingdong.cn/learning-to-rank-in-recommendation-system.htmlhttps://lumingdong.cn/application-practice-of-embedding-in-recommendation-system.htmlhttps://lumingdong.cn/engineering-practice-of-embedding-in-recommendation-scenario.htmlhttps://lu

https://www.jianshu.com/p/fae3736e0428https://blog.youkuaiyun.com/qq_39388410/article/details/94398534https://www.jianshu.com/p/7c949d649bd3https://www.jianshu.com/p/b9113332e33ehttps://www.cnblogs.com/Lee-yl/p/9648883.htmlhttps://baijiahao.baidu.com/s

一、介绍本文主要介绍Facebook提出的CTR预估模型LR(Logistic Regression)+GBDT。当时深度学习还没有应用到计算广告领域，Facebook提出利用GBDT的叶节点编号作为非线性特征的表示，或者说是组合特征的一种方式。LR+GBDT相比于单纯的LR或者GBDT带来了较大的性能提升，论文中给出数据为3%，这在CTR预估领域确实非常不错。除此之外，Faceboo...

xDeepFM是微软2018年发的一篇新论文，它是用来把二阶、三阶、四阶组合一层一层做出来，但无非它用的是类CNN的方式来做这个事的。这是第二个路线的两个代表。尽管这个符合模型发展趋势，我个人认为这种模型太复杂，真正部署上线成本比较高，不是优选方案。对深度CTR模型的个人看法：xDeepFM模型1、引言对于预测性的...

Deep&Cross显式地做高阶特征组合。就是说设计几层神经网络结构，每一层代表其不同阶的组合，最下面是二阶组合，再套一层，三阶组合，四阶组合，一层一层往上套，这就叫显式地捕获高阶特征组合，Deep&Cross是最开始做这个的。Deep & Cross Network对于低阶的组合特征的构造，线性模型使用人工特征工程，FM使用隐向量的内积，FFM引入field的...

DeepFM：在DeepFM提出之前，已有LR，FM，FFM，FNN，PNN（以及三种变体：IPNN,OPNN,PNN*）,Wide&Deep模型，这些模型在CTR或者是推荐系统中被广泛使用。但是，这些模型普遍都存在两个问题：偏向于提取低阶或者高阶的组合特征，不能同时提取这两种类型的特征。 需要专业的领域知识人工做特征工程。DeepFM在Wide&Deep的基础上进行改...

Wide&Deep的右边就是DNN部分，左边的FM Function用的是线性回归，其特征组合需要人去设计。Wide&Deep模型。它混合了一个线性模型（Wide part）和Deep模型(Deep part)。这两部分模型需要不同的输入，而Wide part部分的输入，依旧依赖人工特征工程。Wide&Deep模型推荐系统和类似的通用搜索排序问题共有的一大挑...

CTR预估数据特点： 输入中包含类别型和连续型数据。类别型数据需要one-hot,连续型数据可以先离散化再one-hot，也可以直接保留原值 维度非常高 数据非常稀疏 特征按照Field分组 CTR预估重点在于学习组合特征。注意，组合特征包括二阶、三阶甚至更高阶的，阶数越高越复杂，越不容易学习。Google的论文研究得出结论：高阶和低阶的组合特征都非常重要，...

本文的思维导图如下：1、什么是推荐系统在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战:作为信息消费者，如何从大量信息中找到自己感兴趣的信息是一件非常困难的事情;作为信息生产者， 如何让自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统就是解决这一矛盾的重要工具。推荐系统的任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息...

PNN模型理论和实践1、原理PNN，全称为Product-based Neural Network，认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，如下图：按照论文的思路，我们也从上往下来看这个网络结构：输出层输出层很简单，将上一层的网络输出通过一个全链接层，经过s...

1. 发展在CTR预估中，Logistic Regression应该是最早被应用而且应用最广泛的模型了。输入是one-hot之后的特征，输出是点击广告的概率。对于类别型特征，one-hot之后，每一个取值都变成了一维新的特征。线性模型有一个致命的缺点：对于每一个维度特征权重的学习是独立的，很难有效的学习到组合特征的权重。为了解决这个问题，相继提出了改进模型Poly2和FM。Poly2又...

腾讯2017社交广告比赛https://jiayi797.github.io/2017/06/07/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5-CVR-Tencent_CVR%E9%A2%84%E4%BC%B0%E5%88%9D%E8%B5%9B&%E5%A4%8D%E8%B5%9B%E6%80%9D%E8%B7%AF%...

协同过滤推荐算法总结　　　　推荐算法具有非常多的应用场景和商业价值，因此对推荐算法值得好好研究。推荐算法种类很多，但是目前应用最广泛的应该是协同过滤类别的推荐算法，本文就对协同过滤类别的推荐算法做一个概括总结，后续也会对一些典型的协同过滤推荐算法做原理总结。1. 推荐算法概述　　　　推荐算法是非常古老的，在机器学习还没有兴起的时候就有需求和应用了。概括来说，可以分为以下5种：　　　...

推荐模型或者推荐场景下的排序模型，您脑子里第一个念头冒出的模型是哪个或哪几个？如果你第一念头冒出来的仍然是SVD／矩阵分解啥的，那么明显你还停留在啃书本的阶段，实践经验不足；如果你第一念头是LR模型或者GBDT模型，这说明你是具备一定实践经验的算法工程师，但是知识更新不足。现在都9102年了，我们暂且把Wide&Deep/DeepFM这些模型抛开不提，因为在大规模场景下想要把深度推荐模...

用FM/FFM模型做召回意味着什么首先，第一个问题是：FM/FFM模型一般是作为典型的Ranking阶段的模型，怎么理解用它来做召回这件事情呢？向上图这么做推荐，就是用一个模型把召回和排序两个阶段的事情全做掉。这也是本文要探讨的另外一个要点。FM/FFM模型用在召回和Ranking这两个不同阶段，差别还是蛮大的。如果是在排序阶段使用FM/FFM或者其他模型，因为此时用户已知，要排序...

大纲今天我们主要介绍一下，FFM模型和它的深度学习模型版本，以及我们在这个基础上改造的两个模型。首先，介绍大规模推荐系统的整个流程框架和其中一些比较核心的技术点。第二，介绍推荐系统的两大类Rank模型：传统模型和深度学习模型的发展历程和各自的特点。第三，介绍FFM模型的优缺点，针对缺点，提出一个改进的版本，即“双线性FFM模型”。另外，大致介绍，典型的深度学习模型的特点及使用场景。最后，介...

读书笔记 |《推荐系统实践》- 个性化推荐系统总结对于推荐系统，本文总结内容，如下图所示：一、什么是推荐系统1. 为什么需要推荐系统为了解决互联网时代下的信息超载问题。2. 搜索引擎与推荐系统分类目录，是将著名网站分门别类，从而方便用户根据类别查找公司。 搜索引擎，用户通过输入关键字，查找自己需要的信息。 推荐系统，和搜索引擎一样，是一种帮助用户快速发展有用信...