特征预处理:从独热编码到TF Transform
1. 独热编码与Keras的文本向量化层
在处理分类特征时,我们可以使用独热编码将类别转换为向量。首先,我们获取类别对应的索引,然后使用 tf.one_hot() 函数进行独热编码。需要注意的是,要告诉这个函数索引的总数,它等于词汇表大小加上OOV(Out-of-Vocabulary)桶的数量。以下是一个简单的流程说明:
1. 获取类别索引。
2. 使用 tf.one_hot() 进行独热编码,指定索引总数。
我们也可以将这些逻辑封装到一个类中。 adapt() 方法可以从数据样本中提取所有不同的类别,并创建一个查找表,将每个类别映射到其索引(包括使用OOV桶处理未知类别)。 call() 方法则使用这个查找表将输入的类别映射到它们的索引。
Keras可能会包含一个名为 keras.layers.TextVectorization 的层,它的 adapt() 方法可以从数据样本中提取词汇表, call() 方法可以将每个类别转换为其在词汇表中的索引。如果需要将这些索引转换为独热向量,可以在模型开头添加这个层,然后跟随一个 Lambda 层来应用 tf.one_hot() 函数。
但是,独热编码并非总是最佳选择。当可能的类别较少时,独热编码是可行的;但当词汇表很大时,使用嵌入(Embeddings)进行编码会更高效。一般来说:
超级会员免费看
订阅专栏 解锁全文
655

被折叠的 条评论
为什么被折叠?



