13、深度学习中的嵌入层与模型构建

深度学习中的嵌入层与模型构建

1. 嵌入层的强大力量

嵌入层源自自然语言处理领域，用于将单词映射为数值表示。在深度学习处理结构化数据集时，嵌入层对于利用分类和文本列至关重要。

嵌入层可被定义为将分类值表示为学习到的低维连续向量。下面详细解释其各部分含义：
- 分类值的表示 ：分类值可以是单个字符串（如星期几），也可以是构成标识符的一个或多个字符串集合（如美国各州的名称）。在有轨电车数据集里，与嵌入层相关的分类列包括路线、日期、位置、事件、方向和车辆等。
- 可学习性 ：和深度学习模型的权重一样，嵌入层的值是通过学习得到的。在训练前初始化嵌入层的值，然后通过深度学习模型的迭代进行更新。例如，在有轨电车延迟数据集中，如果周末延迟情况较少，那么学习到的周六和周日的嵌入值会比工作日的嵌入值更接近。
- 低维性 ：嵌入向量的维度相较于分类值的数量较低。在示例模型中，路线列有超过1000个不同的值，但嵌入维度仅为10。
- 连续性 ：嵌入层中的值由浮点值表示，而非表示分类值本身的整数。

一个著名的嵌入层示例展示了其捕捉分类值之间关系的能力：
[v(king) - v(man) + v(woman) \approx v(queen)]
这表明国王的嵌入向量减去男人的嵌入向量加上女人的嵌入向量接近女王的嵌入向量，体现了嵌入层将非数值的分类值映射到平面空间并进行数值操作的强大能力。

嵌入层还有其他好处：
- 可以展示分类值之间的隐含关系，在解决监督学习问题的同