41、特征预处理:从独热编码到TF Transform

特征预处理:从独热编码到TF Transform

1. 独热编码与Keras的文本向量化层

在处理分类特征时,我们可以使用独热编码将类别转换为向量。首先,我们获取类别对应的索引,然后使用 tf.one_hot() 函数进行独热编码。需要注意的是,要告诉这个函数索引的总数,它等于词汇表大小加上OOV(Out-of-Vocabulary)桶的数量。以下是一个简单的流程说明:
1. 获取类别索引。
2. 使用 tf.one_hot() 进行独热编码,指定索引总数。

我们也可以将这些逻辑封装到一个类中。 adapt() 方法可以从数据样本中提取所有不同的类别,并创建一个查找表,将每个类别映射到其索引(包括使用OOV桶处理未知类别)。 call() 方法则使用这个查找表将输入的类别映射到它们的索引。

Keras可能会包含一个名为 keras.layers.TextVectorization 的层,它的 adapt() 方法可以从数据样本中提取词汇表, call() 方法可以将每个类别转换为其在词汇表中的索引。如果需要将这些索引转换为独热向量,可以在模型开头添加这个层,然后跟随一个 Lambda 层来应用 tf.one_hot() 函数。

但是,独热编码并非总是最佳选择。当可能的类别较少时,独热编码是可行的;但当词汇表很大时,使用嵌入(Embeddings)进行编码会更高效。一般来说:

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值