利用spaCy对中文文本分词和去除停用词处理

spaCy简介

spaCy语言模型包含了一些强大的文本分析功能，如词性标注和命名实体识别功能。目前spaCy免费支持的语言有：英文、德语、法语、西班牙语、葡萄语、意大利语和荷兰语，其他的语言也在慢慢的增长。对于spaCy处理中文文本（本文选取了《天龙八部》小说来示例）具体实现过程如下：

1、对文本进行分词处理并去除停用词保存成一个txt

首先，在导入spaCy相关模块后，需要加载中文处理包。然后读取小说数据，对天龙八部小说进行nlp处理，既包括：分词、向量化、词性标注、语法解析和命名实体识别，并对小说用符号“/”进行分隔。最后通过is_stop函数判断分词中的词语是否为停用词，去除掉停用词后把结果写入txt文件中，具体代码如下：

import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS

nlp = spacy.load('zh_core_web_sm')

def fenci_stopwords(data,newdata1):
    fenci = []
    qc_stopwords =[]

    article = pd.read_table(data,<