错误率的计算、离散概率模型下的统计决策举例-优快云博客

本文链接：https://blog.youkuaiyun.com/laofoye99/article/details/126696311

2.6 错误率的计算

错误率反映了分类问题固有复杂性的程度

在分类器设计出来后, 通常是以错误率大小来衡量其性能优劣

通常是以错误率大小作为比较方案的标准
$P(e)=P(\omega_1)\int_{R_2} P(x|\omega_1)dx+P(\omega_2)\int_{R_1} P(x|\omega_2)dx \newline =P(\omega_1)P_1(e)+P(\omega_2)P_2(e) \quad(2-96)$

实际中，按理论公式计算错误率很困难

由于错误率在模式识别中的重要性及计算上的复杂性，因此在处理实际问题时的三种方法：

按理论公式计算

计算错误率上界

实验估计

2.6.1 正态分布且各类协方差矩阵相等情况下错误率的计算

在最小错误率贝叶斯决策中：
$h(x)=-\ln l(x)=-\ln p(x|\omega_1)+\ln p(x|\omega_2) \lessgtr \ln \dfrac{P(\omega_1)}{P(\omega_2)}，则x\isin\begin{cases}\omega_1 \\ \omega_2 \end{cases}$
因此 $h (x)$ 是随机变量，记分布密度函数为 $p(h|\omega_1)$ 。
(2-96)可表示为：
$P_1(e)=\int_{R_2}p(x|\omega_1)dx = \int_t^{+\infin}p(h|\omega_1)dh \quad(2-97) \newline P_2(e)=\int_{R_1}p(x|\omega_2)dx = \int_{-\infin}^t p(h|\omega_2)dh \quad(2-97)$
其中
$t=\ln \dfrac{P(\omega_1)}{P(\omega_2)}$

这里和 Neyman-Pearson 决策里的似然比密度函数 $p(l|\omega_2)$ 一样，是将变量 $x$ 换成了 $h$ 因此积分的区域也发生了相应的变化。

考虑在正态分布时的情况，决策规则可以写成：
$h(x)=-\ln l(x)=-\ln p(x|\omega_1)+\ln p(x|\omega_2) \newline =-[-\dfrac{1}{2}(x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1)-\dfrac{d}{2}\ln 2\pi-\dfrac{1}{2}\ln|\Sigma_1|] \newline +[-\dfrac{1}{2}(x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2)-\dfrac{d}{2}\ln 2\pi-\dfrac{1}{2}\ln|\Sigma_2|] \newline =\dfrac{1}{2}(x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1)-\dfrac{1}{2}(x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2)+\dfrac{1}{2}\ln \dfrac{|\Sigma_1|}{|\Sigma_2|} \newline \lessgtr \ln \dfrac{P(\omega_1)}{P(\omega_2)} \rarr x\isin\begin{cases}\omega_1 \\ \omega_2 \end{cases} \quad(2-100)$