spaCy自然语言处理实战:spaCy自定义管道组件入门

自定义管道组件

学习目标

通过本课程，你将学习如何创建和使用自定义的spaCy管道组件，以扩展spaCy的功能，满足特定的文本处理需求。实验将涵盖自定义组件的基本概念、创建方法以及如何将这些组件集成到spaCy的处理管道中。

相关知识点

• 自定义管道组件

学习内容

1 自定义管道组件

1.1 背景介绍

spaCy是一个强大的自然语言处理库，它通过一系列的管道组件来处理文本数据。每个组件负责处理文本的一个特定方面，如分词、词性标注、命名实体识别等。管道组件按照定义的顺序依次处理文本，最终输出处理结果。理解管道组件的工作原理对于创建自定义组件至关重要。

spaCy的管道组件是通过nlp.pipeline属性访问的，它返回一个包含所有组件名称的列表。每个组件都是一个函数，接受一个Doc对象作为输入，并返回处理后的Doc对象。Doc对象是spaCy中表示处理后文本的核心数据结构，包含了文本的分词结果、词性标注、命名实体等信息。

1.2 安装依赖

!wget https://model-community-picture.obs.cn-north-4.myhuaweicloud.com/ascend-zone/notebook_datasets/008ef708322011f09ab0fa163edcddae/en_core_web_sm-3.7.1.tar.gz --no-check-certificate

%pip install wheel==0.44.0
%pip install en_core_web_sm-3.7.1.tar.gz

#### 1.3 加载模型打印管道组件

加载英文的预训练模型，打印当前管道中包含的组件名称。通过了解这些组件，可以更好地理解spaCy的处理流程，为创建自定义组件打下基础。

- tok2vec：将文本转换为词向量（word embeddings），为后续组件提供基础表示。
- tagger：为每个词元分配词性标签（Part-of-Speech, POS），如名词、动词、形容词等。
- parser：分析句子的句法结构，确定词元之间的依赖关系（如主谓宾关系）。
- attribute_ruler：基于规则修改词元的属性（如词形、词性、标签）。
- lemmatizer：将词元还原为其基本形式（lemma），如 "running" → "run"。
- ner：识别文本中的命名实体（如人名、组织、地点、日期等）并分类。

import spacy

# 加载预训练模型
nlp = spacy.load("en_core_web_sm")

# 查看当前管道中的组件
print(nlp.pipe_names)

1.4 创建自定义管道组件

创建自定义管道组件的关键在于定义一个函数，该函数接受一个Doc对象作为输入，并返回处理后的Doc对象。自定义组件可以用于执行任何文本处理任务，如添加自定义的实体识别、情感分析等。

下面是一个简单的例子，创建一个自定义组件，用于在文档中添加一个自定义的属性，表示文档是否包含特定的关键词。

import spacy
from spacy.language import Language

@Language.factory("contains_keyword")
def create_contains_keyword_component(nlp, name):
    """工厂函数，创建并返回contains_keyword组件"""
    def contains_keyword(doc):
        """检查文档是否包含特定关键词"""
        keyword = "spaCy"
        doc._.contains_keyword = keyword in doc.text
        return doc
    return contains_keyword

# 注册自定义扩展属性
from spacy.tokens import Doc
Doc.set_extension("contains_keyword", default=False, force=True)

# 加载预训练模型
nlp = spacy.load("en_core_web_sm")

# 添加自定义组件到管道
nlp.add_pipe("contains_keyword", last=True)

# 测试自定义组件
text = "spaCy is a powerful NLP library."
doc = nlp(text)
print(f"Document contains keyword: {doc._.contains_keyword}")

Document contains keyword: True

在这个例子中，定义了一个名为contains_keyword的函数，该函数检查文档中是否包含特定的关键词，并将结果存储在Doc对象的自定义属性_.contains_keyword中。通过Language.factory方法注册自定义组件后，可以使用nlp.add_pipe方法将其添加到管道中。最后，通过处理一个示例文本，验证了自定义组件的功能。

1.5 集成自定义组件到spaCy管道

将自定义组件集成到spaCy的处理管道中，可以通过nlp.add_pipe方法实现。该方法允许指定组件在管道中的位置，如first、last或特定组件之前/之后。合理安排组件的顺序，可以确保文本处理的逻辑性和效率。

import spacy
from spacy.language import Language

@Language.factory("add_custom_entity")
def create_add_custom_entity_component(nlp, name):
    """创建添加自定义实体的组件"""
    def add_custom_entity(doc):
        """修改现有实体的标签"""
        from spacy.tokens import Span
        
        # 创建一个新的实体类型（如果需要）
        if "TECHNOLOGY" not in nlp.vocab.strings:
            nlp.vocab.strings.add("TECHNOLOGY")
            
        # 遍历并修改现有实体
        new_ents = []
        for ent in doc.ents:
            if ent.text == "NLP":
                # 创建具有新标签的Span对象
                library_ent = Span(doc, ent.start, ent.end, label="TECHNOLOGY")
                new_ents.append(library_ent)
            else:
                new_ents.append(ent)
                
        # 更新文档的实体
        doc.ents = new_ents
        return doc
        
    return add_custom_entity

# 加载预训练模型
nlp = spacy.load("en_core_web_sm")

# 添加自定义组件到管道
nlp.add_pipe("add_custom_entity", after="ner")

# 测试自定义组件
text = "spaCy is a powerful NLP library."
doc = nlp(text)
for ent in doc.ents:
    print(f"Entity: {ent.text}, Label: {ent.label_}")

打印查看添加的管道组件。

print(nlp.pipe_names)

输出：

[‘tok2vec’, ‘tagger’, ‘parser’, ‘attribute_ruler’, ‘lemmatizer’,
‘ner’, ‘add_custom_entity’]

在这个例子中，创建了一个名为add_custom_entity的自定义组件，用于在文档中添加自定义的实体标签。通过nlp.add_pipe方法，将该组件添加到命名实体识别组件之后。这样，命名实体识别组件首先识别出文档中的实体，然后通过自定义组件再对这些实体进行处理，添加自定义的标签。通过处理示例文本，可以看到自定义实体标签被成功添加。