6、自然语言处理中的句子结构理解

自然语言处理中的句子结构理解

1. 词素分类

词素分类为我们提供了关于形态分析整体概念如何运作的大量信息。词素主要分为两大类：
- 自由词素 ：可以单独作为一个词存在，也被称为无约束词素或独立词素。例如：dog、cats、town、house 等。这些词不仅能单独使用，还能与其他词组合，组合后的意思与单个词的意思有所不同，如 doghouse、town hall。
- 黏着词素 ：通常带有词缀，进一步分为两类：
- 派生词素 ：当词中缀与词根结合并改变语义时可识别为派生词素。例如，在 unkind 中，un 是前缀，kind 是词根，un 作为派生词素将 kind 的意思变为其相反意思 unkind；在 happiness 中，-ness 是派生词素，happy 是词根，-ness 将 happy 变为 happiness，且 happy 是形容词，happiness 是名词。
- 屈折词素 ：是添加到单词上以赋予其特定语法属性的后缀，被视为表示时态、数量、词性等的语法标记。例如，在 dogs 中，-s 将 dog 从单数变为复数；在 expected 中，-ed 是屈折词素，用于修改动词时态。

以下是生成词干的代码，使用了 nltk 和 polyglot 库，代码链接为： https://github.com/jalajthanaki/NLP