qq_33221657的博客

本篇主要介绍经典树模型gbdt XGBoost 和lgb的区别和联系。

一类是可以被处理成one-hot或者multi-hot向量的类别型特征，包括用户搜索词(query)、广告关键词(keyword)、广告标题(title)、落地页(landing page)、匹配类型(match type)；一类是数值型特征，微软称其为计数型(counting)特征，包括点击率、预估点击率(click prediction)；一类是需要进一步处理的特征，包括广告计划(campaign)、曝光样例(impression)、点击样例(click)等。

共享底层网络：负责提取输入数据的通用特征，这些特征将作为后续门控网络和专家网络的输入专家网络：一组公用的网络，每个网络都是由全连接层构成，用于从不同维度捕捉输入向量的信息；门控网络：为每个任务学习一个门控网络，用于决定哪些专家网络对当前任务更为重要。门控网络的输出是一个权重向量，用于对专家网络的输出进行加权。特定任务网络：专家网络输出乘以各自任务门控网络的权重再进行求和，后分别进入不同任务网络，进行各自的任务学习针对多目标任务，通过专家网络学习多任务间的共性，通过加入门控网络学习单个任务的个性化；

通过共享embeding+多目标框架，充分利用大量训练样本，完美解决ds+bbs问题，最终达到当时sota效果。

PLE模型是腾讯发表在RecSys ’20上的文章，这篇paper获得了recsys’20的best paper award，也算为腾讯脱离技术贫民的大业添砖加瓦了。

版本1版本2在包含行为序列特征的dnn基本范式embeding+mlp下，设计基于 target的attention 方式进行模型训练。

推荐系统召回四模型之：全能的FM模型

关于特征，对于稀疏特征，就直接embedding成k维，对于稠密特征，通过乘一个k维的向量转换成特征，最后把所有特征concat在一起，如下所示:f表示特征数量，每个特征都映射成了k维度，所Embedding Layer输出了f*k维的特征向量。通过Instance-Guided，充分利用了输入样本得到的全局上下文信息，对特征层和前馈层中重要的包含信息的特征进行强化，在DNN中引入了乘法操作，使得模型更加有效的捕捉到复杂的交互特征。