小明2766的博客

03-01 深度学习推荐模型演化关系图深度学习的推荐模型有两大特点：表达能力强，能够挖掘出更多数据中潜藏的模式。模型结构非常灵活，能够根据业务场景和数据特点，灵活调整模型结构，使模型与应用场景完美契合。从技术角度讲，深度学习推荐模型大量借鉴并融合了深度学习在图像、语音及自然语言处理方向的成果，在模型结构上进行了快速的演化。图 3-1 所示为主流深度学习推荐模型的演化图谱。以多层感知机( Multi-Layer Perceptron, MLP ) 为核心，通过改变神经网络的结构，构建特点各异的深

02-07 传统推荐系统模型总结基于前面的学习，我们已经了解了很多模型的细节知识，再结合框图可以更好地记忆其发展和区别。传统推荐模型的演化关系图见【读书笔记-＞推荐系统】02-01 协同过滤这里书中给了整体的总结。在对传统的推荐模型进行总结时，读者也要意识到，传统推荐模型与深度学习模型之间存在着千丝万缕的联系。正是对传统模型研究的不断积累，为深度学习模型打下了坚实的理论和实践基础。例如：矩阵分解的隐向量的思想 与 Embedding技术FM中特征交叉的思路LS-PLM的结构 与 三

02-06 LS-PLM思维导图纲要LS-PLM(Large Scale Piece-wise Linear Model，大规模分段线性模型)。这个是本书的最后一例机器学习模型。原因有二：该模型在2012年已经是阿里巴巴主流的推荐模型，2017年才被公之于众；其结构与三层神经网络极其相似。LS-PLM模型的主要结构LS-PLM, 又被称为 MLR( Mixed Logistic Regression, 混合逻辑回归）模型。本质上，LS-PLM 可以看作对逻辑回归的自然推广，它在逻辑回归的基础

02-05 GBDT+LR思维导图纲要FFM模型采用引用特征域的方式增强了模型的特征交叉能力，但是它只能做二阶的特征交叉，更高维度将会产生组合爆炸和计算复杂度过高的问题。而Facebook提出的GBDT+LR组合模型可以有效地处理高维特征组合和筛选的问题。GBDT+LR组合模型的结构一句话概括：它利用GBDT自动进行特征筛选的组合，进而生成新的离散特征向量；再把该特征向量当作LR模型输入，预估CTR的模型结构。用 GBDT 构建特征工程，利用 LR 预估 CTR 这两步是独立训练的，本节着重

02-04 FM与FFM思维导图纲要逻辑回归模型表达能力不强的问题，会不可避免地造成有效信息的损失。在仅利用单一特征而非交叉特征进行判断的情况下，有时不仅是信息损失的问题，甚至会得出错误的结论。著名的“辛普森悖论”用一个非常简单的例子，说明了进行多维度特征交叉的重要性。什么是辛普森悖论见【推荐系统-＞统计学】辛普森悖论(Simpson‘s paradox)。书中的例子：下表是某视频应用中男性用户和女性用户点击视频的数据。从以上数据中可以看出，无论男性用户还是女性用户，对视频 B 的点

02-03 逻辑回归思维导图纲要相比协同过滤仅利用用户与物品的相互行为信息进行推荐，逻辑回归模型能够综合利用用户、物品、上下文等多种不同的特征，生成较为“全面”的推荐结果。另外，逻辑回归的另一种表现形式“感知机”作为神经网络中最基础的单一神经元，是深度学习的基础性结构。因此，能够进行多特征融合的逻辑回归模型成了独立于协同过滤的推荐模型发展的另一个主要方向。相比协同过滤和矩阵分解利用用户和物品的“相似度”进行推荐，逻辑回归将推荐问题看成一个分类问题，通过预测正样本的概率对物品进行排序。这里的正样本

02-02 矩阵分解思维导图纲要由于协同过滤算法的头部效应较明显、泛化能力较弱，提出了矩阵分解算法，它在协同过滤算法中“共现矩阵”的基础上，加人了隐向量的概念，加强了模型处理稀疏矩阵的能力，针对性地解决了协同过滤存在的主要问题。书中以Netflix推荐场景为例子介绍矩阵分解。矩阵分解原理Netflix是一个电影/电视视频平台，其主要应用场景是利用用户的行为历史，在Netflix的视频应用中为用户推荐喜欢的电影、电视剧或纪录片。下面给出协同过滤和矩阵分解的算法原理图。协同过滤算法找到用户可能

02-01 协同过滤思维导图纲要这章主要介绍的是机器学习推荐系统的模型，例如协同过滤（ Collaborative Filtering , CF )、逻辑回归( Logistic Regression, LR ), 进化到因子分解机（ Factorization Machine, FM )、梯度提升树（ Gradient Boosting Decision Tree, GBDT )。介绍有以下两个原因：传统模型依旧适用很多场景，因为其可解释性强、硬件环境要求低、易于快速训练和部署等优势传统推

01 互联网的增长引擎-推荐系统思维导图纲要为什么需要推荐系统？用户角度：让用户从海量信息中找到目标内容在互联网环境下，有非常多的信息存在，就像淘宝有很多很多的商品，推荐系统要做的就是从广大商品中找到你梦寐以求的商品。公司角度：让产品最大限度被用户依赖，赚钱公司通过最大限度地吸引用户、留存用户、增加用户黏性、提高用户转化率等，达到赚钱目的。实际上两者是统一的，比如YouTube为了让用户看更多的视频使用推荐系统，公司可以增加广告收入，同时用户也可以看到自己感兴趣的内容；而淘宝通过个性