40、深度学习中的特征编码与数据预处理

深度学习中的特征编码与数据预处理

1. 特征编码方法选择

在处理分类特征时，我们有多种编码方式可供选择，其中包括独热编码（One - Hot Encoding）和嵌入编码（Embeddings）。

1.1 独热编码

若要将分类索引转换为独热向量，可以使用 tf.one_hot() 函数。不过，独热编码并非总是最佳方案。每个独热向量的大小等于词汇表长度加上未登录词（OOV）桶的数量。当可能的类别较少时，独热编码是可行的；但当词汇表很大时，使用嵌入编码会更高效。

一般来说，若类别数量少于 10，独热编码通常是不错的选择；若类别数量大于 50（使用哈希桶时经常出现这种情况），则嵌入编码通常更合适；而当类别数量在 10 到 50 之间时，建议对两种方法都进行实验，以确定哪种方法最适合具体的应用场景。

1.2 嵌入编码

嵌入是一种可训练的密集向量，用于表示一个类别。默认情况下，嵌入向量是随机初始化的。例如，“NEAR BAY” 类别最初可能由随机向量 [0.131, 0.890] 表示，“NEAR OCEAN” 类别可能由 [0.631, 0.791] 表示。这里使用的是二维嵌入，但嵌入的维度是一个可以调整的超参数。

由于嵌入是可训练的，在训练过程中它们会逐渐优化。相似的类别在训练过程中，通过梯度下降会使它们的嵌入向量更加接近，而与不同类别的嵌入向量距离更远。这种训练方式使得嵌入能够成为类别有用的表示，这被称为表示学习。

graph