13、自然语言处理中的特征工程与算法

自然语言处理中的特征工程与算法

1. 概率基础与条件概率计算

在概率计算中，我们可以通过已知的概率值来计算条件概率。例如，已知 (P(B) = 0.5) 和 (P(A|B) = 0.7)，我们可以计算 (P(A \text{ and } B)) 和 (P(B|A))。
- (P(A \text{ and } B) = P(B) \times P(A|B) = 0.5 \times 0.7 = 0.35)
- (P(B|A) = \frac{P(A \text{ and } B)}{P(A)} = \frac{0.35}{0.6} = 0.5833)

这个计算过程让我们找到了依赖事件的条件概率。在机器学习中，许多库如 scikit - learn、TensorFlow、SparkML 等已经实现了主要的概率计算，并提供了高级 API，我们可以根据应用需求更改预定义的参数值，这些参数通常被称为超参数，寻找最适合的超参数值的过程称为超参数调优，它有助于优化系统。

2. TF - IDF 概念解析

2.1 TF - IDF 简介

TF - IDF 即词频 - 逆文档频率，它属于数值统计领域，能帮助我们判断一个词对于给定文档在当前数据集或语料库中的重要性。

2.2 TF - IDF 原理

TF - IDF 由两部分组成：词频（TF）和逆文档频率（IDF）。
- 词频（TF） ：表示每个词在文档或数据集中出现的频率，其计算公式为：
(TF(t) = \frac{\text{词 }t\text{ 在文档中出现的次数}}{\te