AI上推荐之 AutoInt模型(Transformer开始玩特征交互)

最新推荐文章于 2025-06-24 10:19:49 发布

翻滚的小@强

最新推荐文章于 2025-06-24 10:19:49 发布

阅读量5.1k

点赞数 9

CC 4.0 BY-SA版权

分类专栏：推荐系统学习笔记文章标签： transformer 自然语言处理深度学习

本文链接：https://blog.youkuaiyun.com/wuzhongqiang/article/details/118682806

推荐系统学习笔记专栏收录该内容

23 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了AutoInt模型，该模型利用Transformer的多头自注意力机制来实现特征的高阶交互。文章阐述了AutoInt的动机、前向传播过程，以及如何通过Transformer块构建特征交互层。相较于浅层模型和深层模型，AutoInt能够显式地学习到任意阶的交互，并具有可解释性。此外，文章还探讨了模型的复杂度以及与其它模型的对比，强调了Transformer在特征交互和重要性选择方面的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 写在前面

这段时间做优化模型的事情，正好和特征交互有关系，这个也是推荐系统里面一直探索的一个方向，从浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等，而这次正好借着这次机会，多看一些有关于特征交叉方向的模型paper，把一些新的模型或者较为前沿的思想融入进来。上一篇的FiBinet模型就是在特征交互上一个非常有意思的探索，通过SENET动态选择有用的交互特征，然后再用一个双线性交互进行增强提高。在模型上并没有引入很复杂的结构，却能起到比较不错的效果。

在这里插入图片描述

今天的话，再整理一个新的模型，叫做AutoInt(Automatic Feature Interaction)，这是2019年发表在CIKM上的文章，这里面提出的模型，重点也是在特征交互上，而所用到的结构，就是大名鼎鼎的transformer结构了，也就是通过多头的自注意力机制来显示的构造高阶特征，有效的提升了模型的效果。所以这个模型的提出动机比较简单，和xdeepFM这种其实是一样的，就是针对目前很多浅层模型无法学习高阶的交互，而DNN模型能学习高阶交互，但确是隐性学习，缺乏可解释性，并不知道好不好使。而transformer的话，我