数据分类过程中P(classification|data)与P(data|classification)的区别与优劣

Number of dp modules in each interval in the sample data set

Feature	$I_1$	$I_2$
$x_1$	3	8
$x_2$	7	4

Number of ndp modules in each interval in the sample data set

Feature	$I_1$	$I_2$
$x_1$	10	15
$x_2$	13	12

注：$x_i^{I_j}$为，在特征$x_i$取值为$I_j$时的样本数量。比如$x_1^{I_2}$，其代表特征$x_1$在取值为$I_2$的样本数量，则在dp module中，$x_1^{I_2}=8$，在ndp module中，$x_1^{I_2}=15$

法一：

$$P(dp|x_1^{I_j})=\frac{dpN(x_i^{I_j})}{dpN(x_i^{I_j})+ndpN(x_i^{I_j})}$$
$$\begin{array}{rl}P(dp|x_1^{I_2})& =\frac{N(dp,x_1^{I_2})}{N(x_1^{I_2})}\\ & =\frac{N(dp,x_1^{I_2})}{N(dp,x_1^{I_2})+N(ndp,x_1^{I_2})}\\ & =\frac{8}{8+15}\\ & =\frac{8}{23}\end{array}$$
$$\begin{array}{rl}P(ndp|x_1^{I_2})& =\frac{N(ndp,x_1^{I_2})}{N(x_1^{I_2})}\\ & =\frac{N(ndp,x_1^{I_2})}{N(dp,x_1^{I_2})+N(ndp,x_1^{I_2})}\\ & =\frac{15}{8+15}\\ & =\frac{15}{23}\end{array}$$
$P(dp|x_1^{I_2})<P(ndp|x_1^{I_2})$，$x_1^{I_2}$被判别为$ndp$类

法二：

$$P(x_i^{I_j}|dp)=\frac{dpN(x_i^{I_j})}{dpN(x_i)}$$
$$\begin{array}{rl}P(x_1^{I_2}|dp)& =\frac{N(dp,x_1^{I_2})}{N(dp,x_1)}\\ & =\frac{N(dp,x_1^{I_2})}{N(dp,x_1^{I_1})+N(dp,x_1^{I_2})}\\ & =\frac{8}{3+8}\\ & =\frac{8}{11}\end{array}$$
$$\begin{array}{rl}P(x_1^{I_2}|ndp)& =\frac{N(ndp,x_1^{I_2})}{N(ndp,x_1)}\\ & =\frac{N(ndp,x_1^{I_2})}{N(ndp,x_1^{I_1})+N(ndp,x_1^{I_2})}\\ & =\frac{15}{10+15}\\ & =\frac{15}{25}\end{array}$$
$P(x_1^{I_2}|dp)>P(x_1^{I_2}|ndp)$,$x_1^{I_2}$被判断为$dp$类

结果分析

对于同一组数据，采用不同的分类方法得到的结果可能是不同的。
但对于上述两种依据概率分类的方法，第二种方法$P(x_i^{I_j}|dp)$是一种不可取的方式，因为他切断了类与类之间的关联，只关注数据在类内的分布是不可靠的。
在第二种分类方法中，对于特征$x_1^{I_2}$，我们的分类结果$dp$类；但是从数据的总体分布来看：
在$dp$类中，$x_1^{I_2}$的频度为8
在$ndp$类中，$x_1^{I_2}$的频度为15
对于含有特征$x_1^{I_2}$的测试样本，从总体数据分布来看，其属于类$dp$的概率为$\frac{8}{8+15}=\frac{8}{23}$，属于类$ndp$的概率为$\frac{15}{8+15}=\frac{15}{23}$，因此该样本更有可能是$ndp$类而非$dp$类，与法二结果相悖。
因此数据分析要从总体的数据分布来考虑，而不能只参照类内的数据分布。