《Linear Classifier: An Often-Forgotten Baseline for Text Classification》论文笔记

标题：《Linear Classifier: An Often-Forgotten Baseline for Text Classification》

一、摘要部分

1、如今人们通常直接对如BERT等这样的大规模预训练语言模型进行简单训练并直接部署（因为它们具有卓越的性能）。

2、作者指出，这种方法并不总是（原文是用sometimes）才能获得令人满意的结果。作者认为，预先使用简单基线模型（如线性分类器）可以确认高级模型的结果是否可被接受。（即可用简单基线模型先判断高级模型在某方面运用是否取得最好结果，在去训练高级模型，这可大大节省时间、资金和设备资源）

二、介绍部分

1、作者对于许多实践者直接在文本数据运行具有固定周期数的预训练语言模型不一定都能的到令人满意结果的现象，提出：对于文本分类，应该将诸如线性分类器之类的简单基线与高级模型一起使用，原因如下：

1）训练线性分类器可以为解决某些问题的高级模型提供相当的性能，作者主张使用线性分类器训练的简单一元语法TF-IDF特征作为文本分类器的基线
2）学习方法可以帮助我们检查像BERT这样高级架构训练结果是否合理

2、在深度学习时代，年轻一代常认为永远不应该考虑线性分类器，且不了解一些变体的线性分类器对于文本分类特别有用。因此，这篇论文的目的是提醒人们注意到这项经常被遗忘的技术。

3、作者通过重新研究评估线性SVM（支持向量机）和预训练模型的现有工作，来证明应用线性模型作为简单基线的有用性

4、最近的一些工作也展示了线性分类器在深度学习上的有用性，但都存在一些缺陷，如，考虑复杂的运用，研究高级设置，线性方法只是其中的组成部分

5、与4中提到的工作不同，作者考虑文本分类的基本场景