本文深入探讨了特征哈希在文本分类任务中的应用，通过直接对特征进行哈希编号，实现了在相同内存占用下存储更多权重的目标。详细介绍了特征哈希的工作原理，包括分词、构建特征词典、映射特征空间、学习参数和预测过程，并与传统文本分类方法进行了对比，突出了特征哈希在处理大规模文本数据时的优势。
考虑典型的文本分类，一个经典的方法就是
- 分词，扫描所有特征，建立特征词典
- 重新扫描所有特征，利用特征词典将特征映射到特征空间编号 得到特征向量
- 学习参数 w
- 存储学习参数 w ， 存储特征映射词典
- 预测截断装载学习参数w，装载特征映射词典
- 扫描数据，将所有特征利用特征映射词典映射到特征空间编号 得到特征向量
- 利用用学习参数w 对得到的特征向量 进行 点积 做出预测
Feature hashing怎么做？
不使用特征词典了，不用考虑额外的存储词典的空间，直接对特征进行hash编号。
有冲突？ 后面会说明对效果影响不大！
同样的内存占用下 我们可以存储更多的weights！
扫一扫
6831
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
