weixin_45063703的博客

文本分类方法模型主要分为两个大类，一类是传统的机器学习方法（具体可以再分为四类），另一类是新兴的深度学习模型。由于每个算法其实都非常复杂，在此仅做简单介绍，建议需要使用时一定要再深入学习理解。从 1961 到 2020 文本分类算法的发展历史图上黄色代表浅层学习模型，绿色代表深层学习模型。可以看到，从 1960 年代到 2010 年代，基于浅层学习的文本分类模型占主导地位。自 2010 年代以来，文本分类已逐渐从浅层学习模型变为深层学习模型。

文本是一种非结构化的数据信息，是不可以直接被计算的。文本表示的作用就是将这些非结构化的信息转化为计算机可以理解的结构化的信息 ，这样就可以针对文本信息做计算，来完成后面的任务。在向量空间模型中，文本可以选择字、词组、短语、甚至“概念”等多种元素表示。这些元素用来表征文本的性质，区别文本的属性，因此这些元素可以被称为文本的特征。在文本数据集上一般含有数万甚至数十万个不同的词组，如此庞大的词组构成的向量规模惊人，计算机运算非常困难。进行特征选择，对文本分类具有重要的意义。

一般情况下，文本分类的主要流程如下：采用与处理的原因：解决特征空间高维性、特征分布稀疏和语义相关性。

后来伴随着统计学习方法的发展，特别是 90 年代后互联网在线文本数量增长和机器学习学科的兴起，逐渐形成了一套解决大规模文本分类问题的经典做法，也即特征工程 + 浅层分类模型。深度学习模型是大数据喂出来的，输入的信息越多，DNN 的性能就越好。文本分类最初是通过专家规则进行分类，利用知识工程建立专家系统，这样做的好处是比较直观地解决了问题，但费时费力，覆盖的范围和准确率都有限。特定领域的文本（例如金融和医学文本）包含许多特定的单词或领域专家，可理解的语，缩写等，这使现有的预训练单词向量难以使用。