15、文本处理与分类技术详解

文本处理与分类技术详解

1. 块转换与树操作

在自然语言处理中，对文本块和树结构的处理是非常重要的环节。下面将详细介绍一些相关的处理方法。

1.1 块转换链

在处理文本块时，我们可以将之前定义的转换函数链接起来，以实现文本块的规范化。这样处理后的文本块通常更简短，且不会损失原有的含义。

在 transforms.py 文件中，有一个 transform_chunk() 函数，它接受一个文本块和一个可选的转换函数列表作为参数。该函数会依次对文本块调用列表中的每个转换函数，并返回最终的文本块。

def transform_chunk(chunk, chain=[filter_insignificant, swap_verb_phrase, swap_infinitive_phrase, singularize_plural_noun], trace=0):
    for f in chain:
        chunk = f(chunk)
        if trace:
            print f.__name__, ':', chunk
    return chunk

例如，对于短语“the book of recipes is delicious”，使用该函数处理后会得到“delicious recipe book”：

>>> from transforms