28、自然语言处理中的深度学习：NLU 与 NLG 应用及原理

自然语言处理中的深度学习：NLU 与 NLG 应用及原理

1. NLU 与 NLG 对比

在人工智能应用的语境下，自然语言理解（NLU）和自然语言生成（NLG）是自然语言处理（NLP）的两个重要子领域。
- 自然语言理解（NLU） ：NLU 主要处理对语言结构的理解，涵盖单词、短语和句子层面。它侧重于在已生成的自然语言上应用各种机器学习技术，关注语法和语义，同时致力于解决与语法和语义相关的各类歧义问题，包括词汇歧义、句法歧义、语义歧义和语用歧义。
- AI 在 NLU 中的应用 ：人工智能和机器学习技术在解决自然语言的这些问题上发挥了重要作用。例如，深度学习在机器翻译中取得了显著成果。在解决句法歧义和语义歧义时，深度学习也能大显身手。假设使用一个结合深度学习和 Word2vec 的命名实体识别（NER）工具，就可以解决句法歧义问题。此外，深度学习还可用于改进解析器结果和词性标注器。
- 语用歧义问题 ：语用歧义的解决较为复杂，需要通用人工智能（AGI）和超级人工智能（ASI）的支持。语用歧义产生于理解句子与前文或对话的长距离上下文关系时，并且依赖于说话者的意图。例如，你和朋友交谈，朋友之前提到加入了一个非政府组织并会为贫困学生开展一些社会活动，当你询问活动情况时，你和朋友都能理解所指的活动内容，因为人类大脑能够存储信息、适时提取信息、解读信息并判断其与当前对话的相关性。然而，机器目前尚不具备这种理解上下文和说话者意图的能力。不过，未来机器有望具备解决语用歧义的能力，目前机器正处于尝试采用 AGI 并运用统计技术理解语义的阶段。
- 自然语言生成（NL