中文文本分类主要内容梳理

本文主要对中文文本分类的解决方法进行一个大致梳理，并不展开介绍和讨论。

一、分词

中文与英文不同，单词之间没有天然的空格，所以需要使用一定的方法将词语分开，且分词效果对最终的分类效果影响非常大。现将主要的分词方法归纳为以下几类：

1、基于词典匹配的方法

如正向最大匹配，反向最大匹配，双向最大匹配等方法。

2、基于统计的方法

比如HMM和CRF

3、统计和词典匹配相结合的方法

二、提取特征

主要是TF-IDF

三、文本表示

1、bag of words

缺点：

没有考虑词与词之间的关系，每个词之间相互独立。

数据维度太高  

2、Word Embedding

word embedding其实就是词语到实数空间的一个映射，解决了文本的表示问题。这个映射首先是个单射，然后是structure-preserving的。word embedding与bag of words相比，得到的矩阵维度更小，且词与词之间不是完全没有关系的。更符合实际情况。

四、深度学习文本分类

深度学习的文本分类模型，与传统的文本分类模型相比，最大的特点是没有将整个分类过程分为特征工程和分类器两个部分，而是端到端解决问题。

CNN、RCNN