【CTR预测、神经网络参数自适应生成】 APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction

#论文题目：APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction（APG：点击率预估中的自适应参数生成网络）
#论文地址：https://arxiv.org/pdf/2203.16218.pdf
#论文源码开源地址：暂无
#论文所属单位：Alibaba

一、论文背景

这是一篇阿里发表的关于神经网络中网络参数自适应生成的文章，不仅可以做到不同的样本有不同的网络参数，同时通过拆分矩阵等操作大大提升了推理性能。

当前CTR预估的主要研究方向大致可以分为两个方面：

1. 丰富输入特征：构建异质网络而不是传统的二部图，如引入用户行为序列，多模态信息，知识图谱信息等等
2. 更先进的网络结构设计：考虑更加复杂的网络结构，如设计多样的特征交叉模块，自动的网络结构搜索等等

但是，从理论上来说，还有一种提升模型效果的方面，网络参数的优化，则很少受到关注。目前大多数模型针对所有的输入样本都采用相同的网络参数。这种方式存在以下两方面的缺点：

1. 通过共享的参数W可以学习样本的共性模式，但对于学习样本中的特有模式则并不友好。以淘宝为例，如下图所示，不同用户如高频用户和冷启动用户的样本分布存在较大的差距，对所有的样本使用相同的网络参数很难从不同的分布中捕捉每个样本的特性。
   
2. 模型学