卢之

这个问题以前遇到过，这次又遇到的时候忘了怎么解决的，这次进行一下记录。我先搜了下资料，如果有这个类似问题的话可以跳转至参考部分。

IntegerLookup 的作用，是将整型特征映射到连续范围的预处理层。IntegerLookup 层通过基于表的词汇表查找将一组任意整数输入标记映射到索引整数输出。该层的输出索引将连续排列，直到最大词汇表大小，即使输入标记是非连续的或无界的。该层支持通过 output_mode 对输出进行编码的多个选项，并可选地支持词汇表外(out-of-vocabulary, OOV)令牌和Mask进行掩码屏蔽。层的词汇必须在构造时提供，或者通过 adapt()学习。

Hashing的方式本质上也是分桶，在上一篇我们提到过的bucket的方式进行分桶，而在Hashingd的方法中，所有的输入都会通过Hash映射进行转换成int，然后再进行分桶。该层将分类输入转换为散列输出。它在元素上将一个转换为固定范围内的int型。稳定哈希函数使用tensorflow::ops::Fingerprint在所有平台上产生一致的输出。该层默认使用FarmHash64，它在不同的平台上提供一致的散列输出，并且通过彻底混合输入位，在不同的调用中都是稳定的，而不考虑设备和上下文。

预处理的作用主要在于将难以表达的string或者数组转换成模型容易训练的向量表示，其中转化过程大多是形成一张查询表用来查询。常见的预处理方式包括：接下来，本文将介绍下这些常用的预处理方式的作用和内容。