16、统计机器学习在自然语言处理中的应用

统计机器学习在自然语言处理中的应用

1. 自然语言处理规则应用回顾

在自然语言处理中，我们首先学习了利用规则处理自然语言的重要技能。这些技能包括：
- 正则表达式的应用 ：用于识别固定格式的表达式，如数字、日期和地址。
- 基于规则的Python工具 ：例如NLTK句法分析库，可用于分析句子的句法结构。
- 基于规则的语义分析工具 ：像spaCy的entity_ruler，用于分析句子的槽值语义。

2. 统计机器学习概述

统计机器学习与基于规则的方法不同，它基于从训练数据中学习到的模型，然后应用于新的、之前未见过的数据。统计系统是基于概率的，而不是基于规则的全有或全无的系统。

2.1 统计机器学习的两个关键方面

统计机器学习主要有两个方面需要考虑：
- 数据表示 ：将文本（如文档）转换为保留文本相关信息的数字格式，以便后续处理。常见的数据表示方法有词袋模型（BoW）、词频 - 逆文档频率（TF - IDF）和Word2Vec等，本文主要使用TF - IDF。
- 模型构建 ：将数据转换为适合进一步处理的格式（即向量化）后，使用这些数据训练或构建模型，用于分析系统未来可能遇到的类似数据。训练阶段使用训练数据构建模型，而推理阶段则使用训练好的模型处理新数据。

2.2 统计机器学习的应用领域

统计机器学习可应用于常见的自然语言处理任务，如分类（或意图识别）和槽