13、自然语言处理中的特征工程与算法详解

自然语言处理中的特征工程与算法详解

1. 概率基础与超参数调优

在概率计算中，已知条件概率的相关概念。例如，若 (P(B) = 0.5) 且 (P(A|B) = 0.7)，根据公式 (P(A \text{ and } B) = P(B) \times P(A|B))，可算出 (P(A \text{ and } B) = 0.5 \times 0.7 = 0.35)。再由 (P(B|A) = \frac{P(A \text{ and } B)}{P(A)})，假设 (P(A)=0.6)，则 (P(B|A) = \frac{0.35}{0.6} = 0.5833)，这就是依赖事件的条件概率计算。

在机器学习中，许多库如 scikit - learn、TensorFlow、SparkML 等已经实现了主要的概率计算，并提供高级 API。这些库中的参数常被称为超参数，为每个参数找到最合适的值的过程称为超参数调优，该过程有助于优化系统。

2. TF - IDF 概念

TF - IDF 即词频 - 逆文档频率，属于数值统计领域的概念，用于确定一个词对给定文档在当前数据集或语料库中的重要性。

2.1 TF - IDF 原理

TF - IDF 由两部分组成：词频（Term Frequency，TF）和逆文档频率（Inverse Document Frequency，IDF）。
- 词频（TF） ：表示每个词在文档或数据集中出现的频率，计算公式为 (TF(t) = \frac{\text{词 }t\text{ 在文档中出现的次数}}{\text{文档中词的总数}})。
-