斯坦福开源Python库StanfordNLP，可处理53种人类语言

\n

近期，斯坦福大学自然语言处理小组开发了一个Python库StanfordNLP，用于解决许多常见的自然语言处理问题，可以处理多达53种人类语言模型，便于数据科学家和Python开发人员使用。

\n

\n

语言

\n

StanfordNLP提供了针对53种人类语言的预训练的深度学习模型，并使用PyTorch作为其机器学习的入门。

\n

每种语言都有一个treebank，它是一个巨大的文本数据集，为语法结构/语义内容进行了可靠的注释。对于某些语言，库中提供了不只一个treebank。

\n

如果你想要拥有自己的带注释的语料库(这种情况并不常见!)，那么你可以基于语料库训练一个新的模型。

\n

\n

解析这句话!

\n

范围

\n

这个库提供下列服务：

\n

• \n
• \n

  将给定的文本分成句子和单词(符号化)。符号化是指将一个文本(“The day of the groundhog attracts attention”)转换成七个单词的序列(“The”，“day”，“of”，“The”，“groundhog”，“caught”，“attention”)。

  \n\n
• \n

  为给定的单词指定一个基本形式(词形归并)。词形归并工具会将“attraction”、“attractive”和“attractive”与同一个词形(例如“attract”)联系起来。

  \n\n
• \n

  在一个句子中，把单词和词性联系起来。所以“day”是名词，“attract”是动词。

  \n\n
• \n

  单词有形态特征，如单数或现在进行时。这个库也会提供帮助。

  \n\n
• \n

  它还可以产生句子的句法结构。

  \n\n
• \n

  最后，StanfordNLP可以与名气更大、应用范围更广泛的Stanford CoreNLP进行整合。

  \n\n

\n

在这篇文章中，我们将探讨符号化、词性和形态学特征。

\n

\n StanfordNLP管道\n

管道

\n

Vish (Ishaya) Abrams在文章中很好地解释了机器学习中的管道。为了这个目的，我们可以将库看作是一组组件的序列，这些组件的执行方式是，一个组件的输出是另一个组件的输入(一部分)。这种设计允许替换管道中的一个专用组件，同时保留其余组件。

\n

考虑到文本在管道中流动，那么文本会经过不同步骤的处理。

\n

在StanfordNLP中，管道与语言和treebank相关联。详细信息请看这里（https://stanfordnlp.github.io/stanfordnlp/pipeline.html），但你现在还不需要它们。StanfordNLP管道用于模型评估，而不是模型训练。

\n

安装

\n

在进行其他步骤之前，我们需要先安装这个库。Python 3.6或之后的版本可用。正如开发人员所解释的，安装StanfordNLP最简单的方法是使用pip：

\n

\n

pip install stanfordnlp

\n

\n

之后，下载我们想要使用的语言，例如：

\n

\n

import stanfordnlp
\n#You only download languages once
\n#Each language requires more that 1GB of disk space
\n#It takes time… have a coffee!
\nstanfordnlp.download(‘en’)
\nstanfordnlp.download(‘es’)
\nstanfordnlp.download(‘fr’)

\n

\n

接下来是在哪里存储下载的语言包。这一步我们建议使用缺省值。下载完成后，你可以检查每种语言都有一个对应的文件夹，其中保存了许多PyTorch模型，这些模型将用于我们将要介绍的各种NLP任务。

\n

词性标注及其有用的原因

\n

词性标注是复杂的NLP活动中的一项基本任务。想一下文本分类、情感分析或信息索引和检索。建立文本的基本语法结构为进一步的文本处理奠定了基础。

\n

解析和标记一个句子

\n

我们以下面的法语为例：

\n

\n

Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties (René Descartes, Discourse on the method)

\n

中文大意：如果这句话对于你来说太长了，不能一次读完，你可以把它分为六部分（雷内·笛卡尔，关于方法的言论）

\n

\n

但是别担心，我们会把这句话变得简短很多！让我们来分析笛卡尔的句子，评估一下每个单词在其中的作用。符号化和词性标注开始发挥作用。

\n

import stanfordnlp\n# English is the default language, so you\n# just invoke stanfordnlp.Pipeline()\n# For Spanish you would call \n# stanfordnlp.Pipeline(lang=\u0026quot;es\u0026quot;, treebank=\u0026quot;es_ancora\u0026quot;)\n# This sets up a neural pipeline in French\nnlp = stanfordnlp.Pipeline(lang=\u0026quot;fr\u0026quot;, treebank=\u0026quot;fr_gsd\u0026quot;)\n# a document is made of sentences\ndoc = nlp(\u0026quot;Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties\u0026quot;)\n# we pick our first and only sentence\nonly_sentence = doc.sentences[0]\n\n# a sentence is made of words. \n# Each word is tagged with a part of speech (POS)\n# Good pythonic guys prefer list comprehensions over for loops!\nprint(\u0026quot; \u0026quot;. join([\u0026quot;{} ({})\u0026quot;.format(word.text, word.upos) for word in only_sentence.words]))\n

\n

在一些信息量丰富的消息之后，我们得到单词列表，每个单词都附在其相应的词性上：

\n

Si (SCONJ) ce (DET) discours (NOUN) semble (VERB) trop (ADV) long (ADJ) pour (ADP) être (AUX) lu (VERB) en (ADP) une (DET) fois (NOUN) , (PUNCT) on (PRON) le (PRON) pourra (VERB) distinguer (VERB) en (ADP) six (NUM) parties (NOUN)\n

\n

以上这些可以告诉我们，six是一个数字决定因素，而parties是一个名词。请注意，当lu被标识为动词时， être被标记为助动词。

\n

StanfordNLP利用了语音集的通用部分，它的优点是适用于多种语言。但是，只要有treebank的支持，属性pos也会使用和显示语言的特定词性。其他NLP库(如spacy)也使用通用的和某种语言特有的语音集部分。

\n

\n Chomsky的玩笑\n

处理一词多义

\n

现在我们用这个库开个小玩笑。我们想知道这个英语句子的词性：

\n

\n

I book the book while you stand by the stand

\n

\n

在同一个句子中，不仅book和stand有两种不同的含义。它们也充当动词和名词。运行这句话的类似代码，我们会得到：

\n

I (PRON) book (VERB) the (DET) book (NOUN) while (SCONJ) you (PRON) stand (VERB) by (ADP) the (DET) stand (NOUN)\n

\n

我用这个简单的例子引起读者的注意力，它表明词性标记已经超出了在字典中查找单词，词的句法结构决定了词性。这就是伴随着库出现的学习模型在显示其作用。

\n

形态学特征

\n

除了通用形式和特定于语言形式的词性外，这个库中的单词分类里还带有单词的形态特征(请注意文档中可能出现的一个故障，该属性在文档中被称为ufeats)。

\n

我们运行以下代码：

\n

en_nlp = stanfordnlp.Pipeline()\ndoc = en_nlp(\u0026quot;My taylor is drunk\u0026quot;) \nonly_sentence = doc.sentences[0]\nprint(\u0026quot; \u0026quot;. join([\u0026quot;{} ({} - {})\u0026quot;.format(word.text, word.upos, word.feats) for word in only_sentence.words]))\n

\n

我们得到：

\n

My (PRON - Number=Sing|Person=1|Poss=Yes|PronType=Prs)\ntaylor (NOUN - Number=Sing) \nis (AUX - Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin) drunk (ADJ - Degree=Pos)\n

\n

每个词都有自己的特点，但不只是名词和动词。要理解上述内容，可以查找此索引。例如，Degree=Pos意味着positive，一级。注意，drunk被定义为形容词，不是动词。

\n

关闭

\n

我想今天这些就够了。我们喜欢库，觉得使用它很舒服。当文档不足时，你可以查看源代码来帮助你理解。接下来，我们将完成对StanfordNLP提供的其他功能的理解。

\n

更多信息：https://gitconnected.com/learn/python

\n

原文链接：https://levelup.gitconnected.com/first-look-at-stanfordnlp-2b7d43190957

\n