解析稀疏特征的embedding过程

对于有监督分类模型，输入特征有两种形式，连续型特征和离散型特征。对于常见的cv任务，比如分类、检测、分割等，输入仅为图像特征，它是连续型特征。而对于多模态分类的任务，比如短视频理解与推荐，它的输入包含了用户特征、广告特征、标题特征和视频特征。对于这种同时有连续型和离散型输入特征的情况，应该如何处理呢？

一句话来说，离散型特征，需要先做one-hot编码，才能送入机器学习模型中。

1 为什么要做one-hot？

假设输入有多个类别型特征，包括了颜色特征，不妨将将Red、Green、Blue分别编号为0、1、2。假设输入batch中的数据的颜色为Red或者Blue，且它们的比例相同，那么在经过神经网络中的加权求和运算后， 取值为1，也就是说，输入数据只有Red或者Blue，网络却输出了Green，这显然是不合理的。若采用one-hot编码，即输入特征为[1, 0, 0]和[0, 0, 1]，输出特征为[0.5, 0, 0.5]这显然是合理的。

2 编码过程可视化

以性别、星期、居住城市、这3个类别特征为例，它们需要经过如下步骤，

步骤一：分别做one-hot编码，即 Gender=Male $\in$ {男、女} 表示成[1, 0]，week=Wednesday表示成[0, 0, 1, 0, 0, 0, 0]，City=Zhengzhou $\in$ {北京、深圳、郑州 } 表示成[0, 0，1]；

步骤二：将所有的onehot编码特征首尾相连，构成新的输入向量$x=[1,0,0,0,1,0,0,0,0,0,0,1]$；

步骤三：将输入向量和权重做矩阵乘法运算，得到当前网络层的输出；

图像化表示如下，

注意：上图中的embedding层等价于，先将输入的三个类别特征分别求取embedding向量形式，然后将embedding向量逐像素求和。显然，只有当出入为一个类别特征时，embedding层才能表示其对应的embedding特征。

数学表达形式如下，
$$\begin{gathered} x\times W \\ =[1,0,0,0,1,0,0,0,0,0,0,1]\times W_{12\times k} \end{gathered}$$