基于机器学习的文本分类

在应用机器学习方法的时候，通常，模型接受的输入是数值向量。但是自然语言处理中原始数据是文本，或者说是字符串。所以，在做自然语言处理的一些问题时，首先需要将输入的文本转换成向量。最基本的方法有：word count和TF-IDF，这两种方法是最基本的，但有很大的缺陷。word count和TF-IDF仅仅只是考虑了某个词在文本中出现的次数或者频率，没有考虑词的上下文结构信息。关于word count和TF-IDF可以参考我的另一篇博客词袋模型（Bag of Words Model）。

本文采用的数据集是：https://www.cs.cornell.edu/people/pabo/movie-review-data/，它是二分类的数据集。所以，这里就采用的是Logistic Regression方法。同时，不采用scikit-learn这样的工具获取word count和TF-IDF两个特征。所以这两个功能需要自己实现。

构建词典

首先，根据训练集构建需要的词典。原始的数据（文本）中包含了一些没有意义而且出现频率比较高的词，这些叫停用词，在预处理的时候需要去掉。同时，文本中的标点符号也要去掉。

1、预处理（清洗数据）

def clean_data(train_path, stop_words):
    '''
    清洗数据：将字符串转换成小写、去掉标点符号和停用词
    :param train_path:
    :param stop_words:
    :return:
    '''
    # pattern = re.compile(r'\b[A-Za-z][A-Za-z]+\b')
    data = []
    with open(train_path, 'r', encoding='utf-8') as f:
        for line in f.readlines(