【Python机器学习】NLP信息提取——提取人物/事物关系

目录

词性标注

实体名称标准化

实体关系标准化和提取

单词模式

文本分割

断句

断句的方式

使用正则表达式进行断句

---

词性标注

词性（POS）标注可以使用语言模型来完成，这个语言模型包含词及其所有可能词性组成的字典。然后，该模型可以使用已经正确标注好词性的句子进行训练，从而识别由该字典中其他词组成的新句子中所有词的词性。NLTK和spaCy都具备词性标注功能。这里使用spaCy，因为它更快，更精确：

import spacy

en_model=spacy.load('en_core_web_md')
sentence=("In 1541 Desoto wrote in his journal that the Pascagoula people ranged as far north as the confluence of the Leaf and Chickasawhay rivers at 30.4,-88.5.")
parsed_sent=en_model(sentence)
print(parsed_sent.ents)

print(' '.join(['{}_{}'.format(tok,tok.tag_)for tok in parsed_sent]))

这里spaCy一开始没有识别出经纬度对中的经度，后来使用了“OntoNotes 5”词性标注标签体系。

要构建知识图谱，需要确定哪些对象（名词短语）应该配对。我们想把日期“1554年3月15日”与命名实体Desoto配对。然后可以解析这两个字符串（名词短语）以指向我们知识库中的对象。这里可以将1554年3月15日转换为规范化的datetime.date对象

spaCy解析的句子还包含嵌套字典表示的依存树。同时，spacy.displacy可以生成可缩放的矢量图形SVG字符串（或完整的HTML页面），然后在浏览器中以图像的方式查看。上述可视化方式可以帮助我们找到通过依存树创建用于关系提取的标签模式的方法：

from spacy.displacy import render
sentence="In 1541 Desoto wrote in his journal that the Pascagoula."
parsed_sent=en_model(sentence)
with open('pascagoula.html','w') as f:
    f.write(render(docs=parsed_sent,page=True,options=dict(compact=True)))

上述短句的依存树表明，名称短语“the Pascagoula”是主语“Desoto”的“met”关系的宾语。这两个名词都被标注为专有名词：

要为spacy.matcher.Matcher创建词性和词属性的模式，以表格形式列出所有的词条标签会很有帮助，下面是一些辅助函数，会使上述过程更容易：

import pandas as pd
from collections import OrderedDict
def token_dict(token):
    return OrderedDict(ORTH=token.orth_,LEMMA=token.lemma_,POS=token.pos_,TAG=token.tag_,DEP=token.dep_)
def doc_dataframe(doc):
    return pd.DataFrame([token_dict(tok) for tok in doc])
print(doc_dataframe(en_model("In his journal that the Pascagoula.")))

从上例中，可以看到POS或TAG特征值组成的序列构成了一个正确的模式。如果我们查找人与组织的“has-met”关系，我们可能希望引入诸如“PROPN met PROPN”、“PROPN met the PROPN”、“PROPN met with the PROPN”等模式。我们可以单独指定每个模式，或者在专有名词之间尝试使用“任何词”加上*会？操作符的模式来捕获它们：

'PROPN ANYWORD? met ANY