基于关键词提取关系模式

背景

在上一篇文章《LDA主题模型提取文本中的关键词》中，简单介绍关于LDA模型提取关键词的方法。关键词匹配用于文本分类，检测速度非常快，但也存在准确率和召回率低的问题。实际上，采用关系模式匹配的方法，能够在规则层面提高准召，本文讲简单介绍如何基于关键词来提取关系模式。

理论

分治策略，将语料库中的文本根据是否包含触发词划分成两部分：包含触发词的语料，提取关系模式，解决关键词的准确率问题；不包含触发词的语料提取关系模式，解决关键词的召回率问题。

完整代码

import spacy
import networkx as nx
import re
import os
import random
import numpy as np
import sys
from tqdm import tqdm


# cut sentence
def cut_sent(para):
    para = re.sub('([。！？\?])([^”’])', r"\1\n\2", para)
    para = re.sub('(\.{6})([^”’])', r"\1\n\2", para)
    para = re.sub('(\…{2})([^”’])', r"\1\n\2", para)
    para = re.sub('([。！？\?][”’])([^，。！？\?])', r'\1\n\2', para)
    para = para.rstrip()
    return para.split("\n")


# extract relation patterns
def extract_patterns(sent_list, keyWord_path):
    results_list = []
    other_sent_list = []
    results_token = []
    
    for sent in sent_list:
        doc = nlp(sent)
        
        tokens = []
        for token in doc:
            if token.tag_ in ['VV', 'NN', 'NNP']:
                tokens.append(token)
        results_token.append(tokens)
        
        edges = []
        for token in doc