6、自然语言处理中的语言分析技术详解

自然语言处理中的语言分析技术详解

1. 词素分类

词素分类为我们提供了关于形态分析整体概念如何运作的大量信息。词素主要分为两大类：
- 自由词素 ：可以单独作为一个词存在，也被称为无约束词素或独立词素。例如：dog、cats、town、house 等。这些词也可以与其他词组合使用，组合后的意思与单个词的意思不同，如 doghouse、town hall。
- 粘着词素 ：通常带有词缀，进一步分为两类：
- 派生词素 ：当词缀与词根结合并改变语义时产生。例如，在 unkind 中，un 是前缀，kind 是词根，un 作为派生词素将 kind 的意思变为其相反的意思 unkind；在 happiness 中，-ness 是派生词素，happy 是词根，-ness 将 happy 变为 happiness，同时词性从形容词变为名词。
- 屈折词素 ：是添加到单词上以赋予其特定语法属性的后缀，被视为指示时态、数量、词性等的语法标记。例如，在 dogs 中，-s 将 dog 从单数形式变为复数形式；在 expected 中，-ed 是屈折词素，用于修改动词时态。

以下是使用 nltk 和 polyglot 库从词素生成词干的代码链接： https://github.com/jalajthanaki/NLPython/blob/master/ch3/3_