Product-based Neural Network(PNN) - 学习笔记

最新推荐文章于 2024-06-05 14:59:57 发布

原创

最新推荐文章于 2024-06-05 14:59:57 发布 · 363 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #深度学习 #推荐系统

这篇博客详细介绍了Product-based Neural Network（PNN）模型，重点在于其Product Layer的设计，包括内积形式和外积形式。内积形式通过特征向量的内积进行特征交叉，而外积形式则采用池化后再相乘的方式降低计算复杂度。PNN模型在处理多领域特征交叉问题时表现出优势，并在推荐系统中得到应用。

引言

这篇工作的着眼点是在特征交叉方面，提出了一个乘积层(product layer) 来对多个领域(field) 的特征进行充分的特征交叉。其中，product layer包含两种形式，分别是内积形式(inner product)和外积形式(outer product)。

整体的模型结构

在这里插入图片描述
上图是PNN的整体模型架构，这里简单介绍一下。

$I n p u t$ 是经过one-hot编码的稀疏向量，经过 $E m b e d d i n g$ 层生成稠密的特征向量矩阵 $x$ 。 $x[start_i:end_i]$ 表示第 $i$ 个 $f i e l d$ 的特征向量。

在 $LayerProduct\,Layer$ 中，包含 $z$ 和 $p$ 两部分， $z$ 是由 $" 1 "$ 信号和某个 $f i e l d$ 的特征组合而成，其实表示的是原始特征的恒等映射：
$z = (z_1,z_2,...,z_N) = (f_1,f_2,...,f_N)$
$p$ 是由任意两个 $f i e l d$ 的特征交叉而成:
$\left\{p_{i,j}\right\},i=1...N,j=1..N\\ p_{i,j} = g(f_i,f_j)$
对于内积操作， $g(f_i,f_j) = <f_i,f_j>$