降维技术zz

降维技术

文本分类的一个核心难题就是特征空间的高维性，一个文档集中的特征项动辄就是上万维，这么高的维数特征不仅带来极高的计算复杂度，产生维度灾难，也给分类过程带来了大量的噪音，且容易产生过度拟合的问题，因而有必要简化原始的特征集，这种简化技术就是降维技术。 降维技术主要分成两大类：特征选择和特征提取。

特征选择又称独立评估法，其目的是滤除携带信息量较少的词，只保留对分类贡献较大的词。 在特征选择时一般都是利用某种评价函数，独立地对每个原始特征项进行评分，然后按分值的高低将它们排序，从中选取若干个分值最高的特征项，以达到减少总特征数的目的。 因此，评价函数的好坏是影响特征选择的关键问题。特征选择一般有：文档频率、信息增益、期望交叉熵、互信息、文本证据权、奇率、x2 统计量等。 [按此方式选择得到的前K个分量，组合起来并不一定就是最好的特征； 因为这K个特征之间通常存在相关]

特征提取又称综合评估法，它是将原有的特征集T 加以联系和转化以构建新特征集T'的过程，一般| T' |《| T | ，因而可达到降维的效果；特征提取的思想是：由于一词多义、多词一义的现象大量存在于文本信息中，导致文本的原始项可能不是文档内容表示的最佳维度。特征提取就是试图通过重构新项来避免上述问题。 一般有项聚类、潜在语义索引（LSI）、多维尺度变换、自组织特征映射等

本文来自优快云博客，转载请标明出处：http://blog.youkuaiyun.com/javatalk/archive/2007/11/29/1906958.aspx