本文探讨了在深度学习中，如何正确处理分类特征数据。对于离散的分类特征，使用one-hot编码增强模型理解力；对于图像像素等连续数值，保留其固有意义；针对高维稀疏数据，采用embedding技术提升特征表达能力。
1. 对于一些离散的分类特征数据,如用1,2,3,4,5,6,7,8,9 分别表示不同的物品,如果不经过one-hot编码直接输入到DNN中, 每个样本之间的关联可解释性不强,如果输出中间值如1.2也不好判定属于1还是2,因为1和2只是表示类别,中间值没有意义,强行取整的可解释性不强,输入变量之间的关系也不好判定,如果变为one-hot型编码,如类别1是[1,0,0,0,0,0],类别2是[0,1,0,0,0,0],可以通过向量之间的计算判断相关性,而且类别特征只注重是否属于哪种物品,或者说这种属性是否存在,对于值是多少不care,所以多用one-hot编码
2. 对于图像像素这种不是整数的中间值有可解释性, 表示介于两个整数灰度之间的值,所以不需要one-hot编码
3. 对与高维稀疏的分类特征数据,通常用embedding将高维稀疏的整数数据映射到低维稠密的浮点数据, 通过embedding可以计算变量之间的相似度, 提取更加抽象的特征.
扫一扫
9143
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
