Francis_s的博客

这篇文章不知道为什么被吞了....我又得重新写一下，方便以后自己复习 写在前面：这篇文章觉得部分都是照搬这里，详细的描述可以直接看原文。本文只是将原文翻译成自己比较能理解的思路而已。1. XGBoost的原理XGBoost光从名字上我们就知道有boost的身影在里面了，它和AdaBoost的其中一个区别就是在合并模型的时候不需要加上一个权重系数，而是直接做加法运算模式。所以XGBoost也还是采用一个前向分布加法模型的，具体的表...

先声明：文章大部分内容出自这里，写这篇文章是想基于自己的理解再提炼一把，加深自己印象首先明确一点就是LightGBM是对XGBoost的一个改进，改进的方向是速度，速度真的快了好多，具体的操作是从以下几个角度进行优化的：XGBoost的寻找分裂点复杂度 = 特征数量*分裂点数量*样本数量于是LightGBM就是从等式的右边进行优化的：Lightgbm里面的直方图算法就是为了减少分裂点的数量， Lightgbm里面的单边梯度抽样算法就是为了减少样本...

1. DSIN的由来 作者认为呀，之前的所有模型，很大程度上都忽略了推荐还有一个非常重要的属性，那就是序列。所以在DEIN这个模型里面，为了更好地利用用户的历史行为，就把序列模型引进了推荐系统，用兴趣提取层来学习哥哥行为之间的关系，为了更有针对性的广告和用户兴趣的关系，又在兴趣提取层后面加入了注意力机制，和兴趣进化层网络。这么想就已经很完美了我觉得，但是阿里的大佬们更加贴近了用户的实际情况，他们发现用户在过去会有很多的历史行为，而且兴趣的方向都不是唯一的，有时候跨度非常大，那么在那么一大串...

1. Transformer transformer有很多种形式，Transformer，Universal Transformer，Transformer XL，GPT，BERT，ERNIE，XLNet，MT-DNN。一下子全讲了那我估计人没了，决定还是学网络，用到一个就填一个坑，今天先说一下Transformer。Transformer是一种新的、基于attention机制来实现的特征提取器，可用于代替CNN 和RNN来提取序列的特征。 ...

1. DIEN的由来 其实，之前我们讨论的所有模型都是基于用户的过往历史进行物品的推荐，但是这个想法往往缺少了一个很重要的维度去模拟我们日常挑选商品的行为，那就是时间序列信息。为什么说时间序列信息对推荐来说是有价值的呢？一个典型的电商用户的现象可以说明这一点，我们在日常消费，或者日常逛淘宝的时候，其实发现自己的兴趣迁移是非常快的，例如用户在挑选一双篮球鞋的时候，这位用户上周的行为序列都会集中在篮球鞋整个品类的商品上，但在他完成购买后，本周他的购物兴趣可能变成买一个机械键盘了。但是用以往的模...

感觉已经落下好多进度了，要马上赶上来才行。后面还有好多书没有看0 0 这篇文章的两个模型都是来自于引入了attention机制而产生的，再NFM模型中，不同域的特征Embediing向量经过特征交叉池化层的交叉，将各个交叉特征向量进行了 sum_pooling 操作（这里后面会解释为嘛子叫这个），输入最后由多层神经网络组成的输出层，问题关键在于这个sum_pooling操作，相当于一视同仁地对待所有交叉特征，不考虑不同特征对结果的影响程度，事实上这样子会消解了大量有价值的...

这篇文章应该是10月份的时候就发出来了，但是DTU太多作业了，做得我人都麻了哎。临近期末了决定铤而走险，一定要把知识点给梳理出来 这篇文章篇幅估计会比较长，因为当时看GBDT的时候发现自己对决策树的一些细节还掌握的不是很到位，所以把 DT -> AdaBoost -> BDT -> GDBT -> LR -> GBDT + LR 整个流程都走了一遍。 有关决策树的概念以及步骤，可以到这翻一翻，下面直接开始讲建树了。但因为重点是...

感谢FNN，让我发现自己FM，FFM还理解得不到位，于是重新跑了下别人复现的网络，感慨万千，自己怎么这么菜啊ORZ1.FNN 我们发现，现有的网络，FM，FFM都只是做到了两路特征交叉，但发现这不够啊，表达能力不够强，于是大佬们就提出了FM与DNN交叉的FNN网络，利用神经网络对特征进行高阶的特征交叉，加强了模型对数据的学习能力。 我们先来看这个网络的结构： 在神经网络的参数初始化过程中，往往采用随机出实话这种不包含任何先验信...

这一章其实是前面的知识了，只是后面我在看到了FNN，DeepFM那里就看不懂，发现是漏了这几张没看，就很麻，后面再把写好的GBDT给发到这来。1. 逻辑回归 逻辑回归我想应该非常重要，至今我看招聘要求里面有一个要求就是要熟悉这个。而且它也是正式从只用物品，用户矩阵进行推荐（协同过滤）慢慢过滤到用深度学习的方法，把更多的特征信息引入，包括上下文特征，更多的数值型特征给引入，从而能更好地提高推荐效果，也就是提高模型的泛化能力。 逻辑回归就是一个将推荐问题转换成一个点击率的...

从这里，书上就引出了什么是泛化能力，什么是记忆能力，由此来引出Wide & Deeo 模型，这个模型就是结合同时两个能力都有，然后后面再改进一下，把Wide改一下变成Cross & Deep模型。使得模型不仅能够快速处理并记忆大量的历史行为特征，并且具有强大的表达能力1. 泛化能力 和 记忆能力 记忆能力被理解为模型直接学习并利用历史数据中物品和特征的“共现频率”的能力。 就像协同过滤一样，模型非常简单， 原始数据可以直接影响推荐结果，产生类似于“如果点...

1. NerualCF 背景：协同过滤的矩阵分解，我们用隐变量去逼近了，如果从深度学习的角度去理解这个做法，就是下面这张图了，矩阵分解层的用户隐向量和物品隐向量完全可以看作一种Embedding的方法，最终的打分层就是两个隐向量进行内积操作后得到的value。 如果我们用这个方法去进行训练/拟合，我们会发现模型往往是欠拟合的状态的，因为这个模型太简单了。所以我们要引出一个有表达能力的模型出来。于是我们将神经网络引入来代替矩阵分解的内积操作。 Ner...

与之前的GBDT+LR，协同过滤以及其变种，这些都是一些机器学习的模型，下面我们要将神经网络引入推荐领域了与传统的机器学习模型相比，深度学习模型的表达能力更强，能够挖掘出数据里更多的潜在的隐藏信息，并且深度学习的模型结构非常的灵活，可以根据业务场景和数据特点做出调整。上面是路线进化图，暂时没有这么一本书可以从如此大局观地去引导读者学习，这书确实不错，之前分析过AE到VAE的文章，现在正好结合上推荐一起分析AutoRec了，然后后面是Deep Crossing，这里面图提到了ResNet，也可以一

1. 基于用户的协同过滤首先就是建立共现矩阵，行是M个样本，列是N个物品，第M行N列代表这个M用户是否对这个N物品感兴趣，感兴趣就点赞，赋值1，没有点赞赋值0 然后预测的第一步就是找到与某一个用户最相似的前n个用户 预测的第二步就是综合这些相似用户对某一个物品的评价，得出我们要预测用户对这个物品的评价 所以这里比较重要的就是怎么计算用户的相似度。 其实就是把这些用户点赞的地方是不是大致都一样的。有 1.余弦相似度...