特征融合的常见方法

深度学习中，假设有两个层次的特征$x\in {\mathbb{R}}^n,x\in {\mathbb{R}}^m.$ 如何得到融合这两者的新特征$z\in {\mathbb{R}}^k.$

常见的方法如下：

• concat : $z=[x,y]\in {\mathbb{R}}^{m+n},k=m+n.$
• addition: $z=x+y\in {\mathbb{R}}^k$，需要把两个特征映射到同一维度$k.$
• biLinear:
  $$\begin{gathered} z=x^{T}Wy,W\in {\mathbb{R}}^{k\times m\times n}. \\ {z}_i=x^T{W}_{i}y,W_i\in {\mathbb{R}}^{m\times n},i=1:k. \end{gathered}$$
• sum-pooling:
  设未池化的特征图为$X\in {\mathbb{R}}^{n\times h\times w},y\in {\mathbb{R}}^m$,
  $$z=\sum _{i,j}{w}_{ij}\odot X_{ij}\in {\mathbb{R}}^n$$
  $i,j$表示特征的每一个位置。其中$w_{ij}$计算如下
  $$w_{ij}=\sigma (FC([X_{ij},y]))\in {\mathbb{R}}^n.$$
  $\sigma$表示sigmoid函数，FC的作用是维度调整。