47、文档表示分类效果评估与2 - PS关联文本分类方法

文档表示分类效果评估与2 - PS关联文本分类方法

1. 文档表示分类效果评估

1.1 精度与召回参数

在分类任务中，有一个参数 $\beta$ 用于反映对精度（precision）和召回率（recall）的相对重视程度。通常情况下，$\beta = 0$，这意味着对精度和召回率给予同等的重要性。如果情况并非如此，当更看重精度时，可设置 $\beta < 1$；若更强调召回率，则设置 $\beta > 1$。

1.2 生成关键特征子集

关键特征子集（EFS）包含了对分类最为重要的特征。特征的重要性通常由特征重要性函数生成，常见的有 $\chi^2$ 独立性、信息增益和互信息等。研究发现，文档频率、$\chi^2$ 独立性得分和信息增益在特征选择上表现相近。这里采用 $\chi^2$ 独立性作为特征重要性的度量，公式如下：
$\chi^2(f, c) = \frac{N \times (AD - BC)^2}{(A + B)(A + C)(B + D)(C + D)}$
其中，$N$ 是文档总数，$A$ 是特征 $f$ 和类别 $c$ 同时出现的次数（若将 $f$ 视为唯一特征，可类比为真正例 TP），$B$ 是特征 $f$ 出现但类别 $c$ 未出现的次数（假正例 FP），$C$ 是类别 $c$ 出现但特征 $f$ 未出现的次数（假反例 FN），$D$ 是特征 $f$ 和类别 $c$ 都未出现的次数（真反例 TN）。该值越大，特征越重要。

给定 EFS 的大小 $|\hat{F}|$，可通过选择最显著的 $|\hat{F}|$ 个特征来得到 EFS。由于一个特征在不同类别中的重要性得分可能不同，特征