DeniuHe的博客

这些向量所在的向量空间，就可以叫嵌入空间。它的核心作用是：让机器能够用距离、角度、内积等数学方式来表达对象之间的相似性、差异性和结构关系。所以嵌入空间不是唯一的，也不是天然固定存在的。更准确地说：数据本身可能有某种潜在结构，但嵌入空间是通过设计和学习得到的。同一批数据，用不同模型、不同损失函数、不同训练目标，会得到不同的嵌入空间。可以简单理解为：把原本不好直接计算的对象，映射成向量以后所在的空间。在深度学习中，嵌入空间通常是由神经网络学习出来的。这说明模型把语义相近的对象放在了空间中相近的位置。

由多层神经元全连接组成的网络结构：上一层每一个神经元，都和下一层所有神经元建立连接，没有局部感受野、没有权重共享。