smartcat2010的博客

推荐系统的实时性实验结果显示，模型更新越慢，效果就越差；一. 推荐系统「 特征」的实时性：推荐系统的更新速度越快，越能够反应用户最近的用户习惯，越能够给用户进行越有时效性的推荐。系统“实时”地收集推荐系统模型所需的输入特征，使推荐系统能够总是使用最新的特征进行预测和推荐。1. 客户端实时性(无延迟)：如果客户端能够缓存session内部的行为，作为与上下文特征同样的实时特征传...

阿里首次将Transformer用于淘宝电商推荐！效果超越深度兴趣网络DIN和谷歌WDL用Transformer对用户最近的20个点击行为序列进行建模；结合了point-wise Feed-Forward Network（FFN）baseline的WDL没有使用行为序列做输入（不公平），WDL(+Seq)那个使用了行为序列的embedding平均值做输入；和DIN的区别：使用 Tr...

2016--Yoube--视频推荐DNN召回阶段也用了DNN（别人家都是用CF、基于内容、基于社交网络等）: 输入是{用户画像（包括用户行为video集合+用户行为过的搜索词集合+用户属性），context(地理位置信息...)}，输出是（百万个video，每个是一个类别）；损失函数是softmax+交叉熵损失；用户实际观看完的video做正样本，用negative-sampling选负样本(...

DIN来龙去脉：背景知识：用户画像+用户行为+Item特征+上下文特征，这4者（也可是3者）作为输入信息，将原有的高维稀疏0/1特征做成embedding向量，每组特征由1个或多个向量pooling得到1个向量，最后所有组特征concatenate起来，作为神经网络的input；一. DIN：（用户行为item和候选item的向量相似度做权重(attention)，把所有行为item加和起...

Deep & Cross Network总结在工业界的实践效果不如Wide&Deep和DeepFM那么好；（和WDL的效果基本持平）揭秘 Deep & Cross : 如何自动构造高阶交叉特征Google 对 Wide & Deep的一个后续研究；将Wide部分替换为由特殊网络结构实现的Cross，自动构造有限高阶的交叉特征，并学习对应权重，告别了...

xDeepFM：名副其实的 ”Deep” Factorization Machine自动构造输入向量的“高阶”特征组合；可惜工业界实际效果一般比不过Wide&Deep和DeepFM；时间复杂度高是痛点；容易过拟合（可对特征做离散化，加dropout来解决）基本框架依然基于标准的Embedding&MLP，其中Linear、Plain DNN分别类似Wide和Deep部分...

阿里CVR预估模型之ESMM和Multi-Task-Learning框架，和迁移学习，扯上关系，高大上了。一、Motivation不同于CTR预估问题，CVR预估面临两个关键问题：Sample Selection Bias (SSB)转化是在点击之后才“有可能”发生的动作，传统CVR模型通常以点击数据为训练集，其中点击未转化为负例，点击并转化为正例。但是训练好的模型实际使用时，则...

《Deep Learning Recommendation Model for Personalization and Recommendation Systems》模型结构：dense特征，经过bottom MLP的变换，得到一个embedding; 和类别特征的embedding们，两两之间做向量点乘（类似FM的思想），得到的很多乘积串成一个向量，输入到top MLP里面，最后过sigmo...

重读Youtube深度学习推荐系统论文，字字珠玑，惊为神文百万候选集==>召回阶段==>几百候选集==>Ranking阶段==>排在最前面的十几个；召回阶段：输入：用户行为过的video集合 + 用户行为过的搜索词集合 + 用户属性输出：百万级的类别（每个video是一类）输入的video和搜索词的embedding，是用word2vec预训练得到的；（...

《Wide & Deep Learning for Recommender Systems》：Google，2016年提出，应用商店做排序；《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》：华为，2017年提出，应用商店做排序；很好的博客LR: 优势是速度快，便于加特征，可解...