MaskNet是一种新的点击率(CTR)模型，通过instance-guided mask方法增强特征交互，提升模型效果。论文提出MaskBlock结构，包含instance-guided mask、前馈层和normalization层，用于在DNN中引入乘法操作，从而更好地捕捉复杂交互特征。实验表明，MaskNet在多个数据集上的表现优于现有模型。
CTR模型相关论文，大家已经看了很多了，如FNN、DeepFm、XDeepFM等，难免会"审美疲劳"，所以这些模型真的充分挖掘了交叉特征了吗？这篇论文《MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask》提出了MaskBlock更好的挖掘交叉特征，提升点击率模型的效果。
这篇论文的贡献主要如下：
- 本文提出了一种instance-guided mask方法，该方法在DNN中的特征嵌入层和前馈层同时使用element-wise product。instance-guided mask包含全局上下文信息，动态地融入到特征嵌入层和前馈层，突出重要的特征。
- 本文提出了MaskBlock结构，该结构由3个部分组成，分别为instance-guided mask，前馈层，normalization层。通过这种结构，把标准的DNN扩展为包含可加可乘的交互特征结构。
- 本文提出了排序框架MaskNet，充分利用了MaskBlock作为基本单元，提出了串行MaskBlock和并行MaskBlock。
- 在3个数据集上，MaskNet都表现最好，说明MaskBlock可以显著提升DNN挖掘复杂交互特征的能力。
Embedding Layer:
关于特征，对于稀疏特征，就直接embedding成k维，对于稠密特征，通过乘一个k维的向量转换成特征，最后把所有特征concat在一起，如下所示:
f表示特征数量，每个特征都映射成了k维度，所Embedding Layer输出了f*k维的特征向量。
Instance-Guided Mask:
通过Instance-Guided，充分利用了输入样本得到的全局上下文信息，对特征层
最低0.47元/天 解锁文章
扫一扫
1392
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
