经典检测理论——简单二元假设检验

数学基础：统计判决理论或假设检验理论

1、相关概念

• 理想接收机

1. 检测信号时能使错误判断概率最小；
2. 或者是指能够从信号+噪声的混合波形中提取最多有用信息

准则：最大后验概率准则(Maximum a Posteriori Probability Criterion)——MAP

• 先验知识
  观测者事先具备的关于发送消息的知识
• 后验知识
  接收消息后形成的关于发送消息的知识
• 有用信号或者发送信号：s
  荷载信息的信号
• 接收信号：x
  有用信号 + 信道噪声，即$$x=s+n$$
• 先验概率密度：p(s)
• 后验概率密度：p(s|x)
• 熵：信源的不确定性$$H(s)=-\int p(s)\ast logp(s)ds.$$
• 条件熵：在已知x的条件下，s的不确定性$$H(s|x)=-\int p(x)(\int p(s|x)\ast logp(s|x)ds)dx$$
• 互信息：收到x之后，s不确定性的减少量
  $$\begin{gathered} I(s;x)=H(s)-H(s|x) \\ =-\int p(s)\ast logp(s)ds+\int p(x)(\int p(s|x)\ast logp(s|x)ds)dx \\ =-\iint p(x)\ast p(s|x)\ast logp(s)dsdx+\iint p(x)\ast p(s|x)\ast logp(s|x)dsdx \\ =\iint p(x)\ast p(s|x)\ast log\frac{p(s|x)}{p(s)}dsdx \end{gathered}$$

全概率公式：$$p(s)=\int p(x)\ast p(s|x)dx$$

• 信息不增原理：发送信号为s，接收信号为x，然后对x进行处理，得到y，则有$$I(s;y)⩽I(s;x)$$
  上述式子中取等号的条件是：对x所做的处理是可逆的，即可逆映射

  1、往往接收机对接收信号所做的处理是一个维度降低的过程，所以会导致部分信息丢失
  2、对接收信号所做的任何处理过程顶多保证信息不会发生丢失

• 最大后验概率准则：$p(\hat{s}|x)=maxp(s|x)$

---

2、最大后验概率下的简单二元假设检验

• 二元数字通信系统为例
  时间间隔 T s内，要么发送一个幅度为d的脉冲，即有$s(t)=d$，代表“1”；要么在该时间间隔内不发送信号，即为$s(t)=0$，代表“0”。在接收机处，接收信号由发送信号和信道噪声($n(t)$)组成，即有$r(t)=s(t)+n(t)$。依据对接收信号$r(t)$的一次抽样检测（单样本检测）来判断是否发送的信号是否为$s(t)=d$。
  
  先写假设：$\{\begin{array}{ll}{H}_0& \text{r(t)=n(t)}\\ H_1& \text{r(t)=d+n(t)}\end{array}$

  最大后验概率准则：
  $$\begin{gathered} p(H_1|x)\ge p(H_0|x) \\ 或 \\ \frac{p(H_1|x)}{p(H_0|x)}\ge 1 \end{gathered}$$
  贝叶斯公式：
  $$\begin{gathered} p(H_1|x)=\frac{p(H_1)p(x|H_1)}{p(x)} \\ p(H_0|x)=\frac{p(H_0)p(x|H_0)}{p(x)} \end{gathered}$$
  现在，假设发送0或者1的概率已知，即：$p(H_1)=1-\xi ，p(H_0)=\xi$
  令 $p_1(x)=p(x|H_1)，p_0(x)=p(x|H_0)$，则后验概率为：
  $$\begin{gathered} p(H_1|x)=\frac{(1-\xi )p_1(x)}{p(x)} \\ p(H_0|x)=\frac{\xi p_0(x)}{p(x)} \end{gathered}$$
  从而有
  似然比：将观测数据转换为：$\lambda (x)$，即由检测随机变量x转换为似然比的检测
  
  归结如下：

• 在二元数字通信系统中，进一步假设信道噪声服从标准高斯分布，即均值为0，方差为1。该高斯随机变量可以表示为：N（0，1）变量。现讨论该情况下接收机的判决准则：

  • 样本信息
    $H_0$：只有随机噪声下，有
    $$p_0(x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}$$
    $H_1$：$d+n(t)$，有
    $$p_1(x)=\frac{1}{\sqrt{2\pi }}{e}^{-(x-d{)}^2/2}$$
  • 似然比$\lambda (x)$
    $$\lambda (x)=\frac{p_1(x)}{p_0(x)}=\frac{e^{-(x-d{)}^2/2}}{e^{-x^2/2}}=e^{xd-d^2/2}$$
    得到：
    根据${\lambda }_0=\frac{\xi }{1-\xi }$进一步求解$x$：
    

markdown的使用技巧
多行大括号公式输入方法参考：参考链接1
特殊字符、上下标、求和/积分、分式/根式、字体输入参考：参考链接2

3、检验错误类型

在二元数字通信系统中接收机检测有四种结果：

发送信号（$H_0$或者$H_1$）	判决（$D_1$或者$D_0$）	判决正确 / 错位类型
$H_0$	$D_0$	判决正确
$H_1$	$D_1$	判决正确
$H_0$	$D_1$	第一类错误：虚警(false alarm)
$H_1$	$D_0$	第二类错误：漏报(miss rate)

• 第一类错误：$H_0\to D_1$ ——无中生有
  又叫虚报，虚警，误报率，本课程中统一称为虚报概率($P_F$)
  虚报概率：
  $$P_F=P(D_1|H_0)={\int }_{R_1}{p}_0(x)dx$$
  • $R_1$：所有判决为$D_1$的样本空间
• 第二类错误：$H_1\to D_0$
  又叫漏报率、漏检率、漏警率，这里统称为漏报概率($P_M$)
  漏报概率：
  $$P_F=P(D_0|H_1)={\int }_{R_0}{p}_1(x)dx$$
  • $R_0$：所有判决为$D_0$的样本空间
• 检测概率：$H_1\to D_1$
  $$P_D=P(D_1|H_1)=1-P_M$$
• 计算二元数字通信系统的$P_F$、$P_M$、平均错误概率$P_E$

  • 虚报概率$P_F$：$$P_F=P(D_1|H_0)={\int }_{R_1}{p}_0(x)dx={\int }_{x_T}^{\infty }{p}_0(x)dx=Q(x_T)$$
    

  • 漏报概率$P_M$：$$P_M=P(D_0|H_1)={\int }_{R_0}{p}_1(x)dx={\int }_{-\infty }^{x_T}{p}_1(x)dx=\Phi (x_T-d)$$
    

  • 平均错误概率$P_E$：$$\begin{gathered} P_E=P(H_0)\ast P_F+P(H_1)\ast P_M \\ =\xi P_F+(1-\xi )P_M \\ =\xi Q(x_T)+(1-\xi )P_M \end{gathered}$$

3、补充一些概率论的知识

一般正态分布的分布函数$F(x)$：
$$F(x)=P(X\le x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}dt$$
标准正态分布的分布函数$\Phi (x)$：
$$\Phi (x)=P(X\le x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$$
Q函数，又称标准正态分布的右尾函数：
$$Q(x)={\int }_x^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=1-\Phi (x)$$
误差函数$erf(x)$:
$$erf(x)=\frac{2}{\sqrt{\pi }}{\int }_0^x{e}^{-t^2}dt$$
互补误差函数$erfc(x)$：
$$erfc(x)=\frac{2}{\sqrt{\pi }}{\int }_x^{\infty }{e}^{-t^2}dt=1-erf(x)$$

$Q(x)、\Phi (x)$、$erf(x)$、$erfc(x)$三者之间的关系：
$$\begin{gathered} \Phi (x)=1-Q(x) \\ erfc(x)=1-erf(x) \\ \frac{1}{2}erfc(x)=Q(\sqrt{2}x) \\ erf(x)=1-2Q(\sqrt{2}x) \end{gathered}$$

4、最大后验概率与最小错误概率的关系

二元信号检测模型

判决域：$R_0$、$R_1$
观测空间：$R$
满足：$R_0\cup R_1=R$，$R_0\cap R_1=\varnothing$，即两个判决域构成互斥完备集

• 当确定某种划分方式之后，最小化错误概率$\underset{x_T}{\min }{P}_E(x_T)$，方法：求导
  依据
  $$P_E=\xi Q(x_T)+(1-\xi )P_M=\xi {\int }_{x_T}^{\infty }{p}_0(x)dx+(1-\xi ){\int }_{-\infty }^{x_T}{p}_1(x)dx$$
  其中，$p_0(x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}，p_1(x)=\frac{1}{\sqrt{2\pi }}{e}^{-(x-d{)}^2/2}$
  求极值点：
  $$\frac{d{P}_E}{d{x}_T}=0$$
  得到判决门限：
  $$x_T=\frac{1}{2}d+\frac{1}{d}ln{\lambda }_0（{\lambda }_0=\frac{\xi }{1-\xi }）$$

该判决门限与最大后验概率值（MAP）相等，但是这只是某一种特定的划分方式下求得的最小错误概率下的判决门限值
因此，这种方式只是一类检测器的优化结果，此时不能说：MAP等价于最小错误概率准则

判决域可以随意划分，并非按照某一特定的边界划分，也并非一定是划分为两块区域如下：

• 现从判决域的角度分析，使平均错误概率最小化
  $$\begin{gathered} P_E=\xi Q(x_T)+(1-\xi )P_M \\ =\xi {\int }_{R_1}{p}_0(x)dx+(1-\xi ){\int }_{R_0}{p}_1(x)dx \end{gathered}$$
  由于$R_0$与$R_1$为互斥完备集，所以有$${\int }_{R_0}=1-{\int }_{R_1}$$
  从而有：$$\begin{gathered} P_E=\xi P_F+(1-\xi )P_M \\ =\xi {\int }_{R_1}{p}_0(x)dx+(1-\xi )(1-{\int }_{R_1}{p}_1(x)dx) \\ =(1-\xi )+{\int }_{R_1}[\xi p_0(x)-(1-\xi )p_1(x)]dx \end{gathered}$$
  此时，平均错误概率$P_E$就变成了只和划分的判决域$R_1$相关。

  注意：之前通过求导的方式求得的最优解，只是简单地将判决域划分为两份的情况下得到的；变量为某个判决门限$x_T$
  而这里，判决域成为了变量。

  • 如何确定判决域，使得平均错误概率最小化？
    $P_E$：$P_E=(1-\xi )+{\int }_{R_1}[\xi p_0(x)-(1-\xi )p_1(x)]dx$
    根据积分的特性，对于任意的$x\in R_1$，对被积函数进行求和，即所求积分。根据这个思想，只需将所有满足$\xi p_0(x)-(1-\xi )p_1(x)\le 0$的$x$划分到判决域$R_1$即可，这样就能使得$P_E$最小化：$\underset{R_1}{\min }{P}_E(R_1)$
  • 小结
    $\underset{R_1}{\min }{P}_E(R_1)$：在积分区间上被积函数非正，使$P_E$尽可能减小。
    具体做法：
    $$\begin{gathered} \xi p_0(x)-(1-\xi )p_1(x)<0 \\ \xi p_0(x)<(1-\xi )p_1(x) \\ \frac{p_1(x)}{p_0(x)}>\frac{\xi }{1-\xi }={\lambda }_0 \end{gathered}$$
    即当$\frac{p_1(x)}{p_0(x)}>\frac{\xi }{1-\xi }={\lambda }_0$时，判为$H_1$，恰好也是最大后验概率（MAP）
    从这里，可以看出，在任意划分判决域之后，仍然求得判决门限仍然等于${\lambda }_0$，这个时候，可以将最大后验概率准则$\iff$最小错误概率准则（等价）
    

• 在二元数字通信系统中，信道噪声满足标准高斯分布，通常等概率地发送二元信号。
  即：$P(H_0)=\xi =\frac{1}{2}，P(H_1)=1-\xi =\frac{1}{2}$
  则${\lambda }_0$计算得：

  ${\lambda }_0=1$
  判决门限$x_T$：$$x_T=\frac{1}{2}d+\frac{1}{d}log{\lambda }_0=\frac{1}{2}d$$
  虚报概率$P_F$：$P_F={\int }_{R_1}{p}_0(x)dx=Q(x_T)=Q(\frac{d}{2})$
  漏报概率$P_M$：$P_M={\int }_{R_0}{p}_1(x)dx=\Phi (x_T-d)=\Phi (-\frac{d}{2})=Q(\frac{d}{2})$
  所以：$$P_F=P_M=Q(\frac{d}{2})=1-\Phi (\frac{d}{2})$$

例题

试设计针对只用一次观测来对下面两个假设做选择的似然接收机。
$H_0$：是样本具有零均值和方差为${\sigma }_0^2$的高斯变量
$H_1$：是样本具有零均值和方差为${\sigma }_1^2$的高斯变量
(a)根据观测结果，求判决域$R_0$和$R_1$；
(b)求虚报概率
解：写出假设：$$\begin{gathered} H_0：p_0(x)=\frac{1}{\sqrt{2\pi }{\sigma }_0}{e}^{-\frac{x^2}{2{\sigma }_0^2}} \\ {H}_1：p_1(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{x^2}{2{\sigma }_1^2}} \end{gathered}$$
似然比：$$\begin{gathered} \frac{p_1(x)}{p_0(x)}=\frac{\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{x^2}{2{\sigma }_1^2}}}{\frac{1}{\sqrt{2\pi }{\sigma }_0}{e}^{-\frac{x^2}{2{\sigma }_0^2}}} \\ =\frac{{\sigma }_0}{{\sigma }_1}exp(\frac{{\sigma }_1^2-{\sigma }_0^2}{2{\sigma }_1^2{\sigma }_0^2}{x}^2)\ge {\lambda }_0=\frac{\xi }{1-\xi } \end{gathered}$$

当${\sigma }_1^2>{\sigma }_0^2$时，求得：

判决域：

虚报概率$P_F$：$$\begin{gathered} P_F={\int }_{|x|>x_T}{p}_0(x)dx \\ =2{\int }_{x_T}^{\infty }\frac{1}{\sqrt{2\pi }{\sigma }_0}exp(-\frac{x^2}{2{\sigma }_0^2})dx \\ =2(1-\Phi (\frac{x_T}{{\sigma }_0})) \end{gathered}$$

注意：
1、标准正态分布的分布函数(又称累积分布函数，cdf) 有相应的查值表，因此最后结果写成这种高斯分布的累计分布函数的形式
2、方差越大，函数图像越矮胖