贝叶斯决策规则(1)

贝叶斯决策规则(1)

符号标记

$\omega$:类别标记随机变量，${\omega }_1,{\omega }_2$分别表示类别标记为1，2。

$x$:与决策相关特征值。

$p({\omega }_1),p({\omega }_2)$：两个类别的先验概率。

$p(x|{\omega }_1)$:类别为1时，特征取值为$x$的概率。

$p({\omega }_1|x)$:特征取值为$x$，类别为1的概率。

贝叶斯公式

$$\begin{gathered} p({\omega }_j|x)=\frac{p(x|{\omega }_j).p({\omega }_j)}{p(x)} \\ p(x)=\sum _{j=1}^{2}p(x|{\omega }_j)p({\omega }_j) \\ posterior=\frac{likelihood\times prior}{evidence} \end{gathered}$$

我的理解： $p({\omega }_1|x)>p({\omega }_2|x)$时选择${\omega }_1$。在贝叶斯公式里$p(x)$是用来归一化的，并不影响决策结果。真正影响决策结果的是$p(x|{\omega }_j)$以及$p({\omega }_j)$，前者称之为似然概率，后者称之为先验概率。可以说是这两者共同决定了判决结果。当类别状态等可能出现时，即$p({\omega }_1)=p({\omega }_2)$时，决定判决结果的是似然概率；而当似然概率相同时，判决则取决于先验概率。我觉得似然概率可以理解成现实生活中我们观察统计到的概率，既然被我们观察到了，那么这就是合理的，自然可以用来影响最后的判决。而先验概率是先验知识，本身表示了各个类别状态出现的概率，自然也能影响最后的判决结果。

虽然我们在判决时选择了概率较大的类别，但仍不保证这是绝对正确的，误差是肯定会存在的，贝叶斯定理下每一次判决的误差概率可以用$p(error|x)$表示：
$$p(error|x)=\{\begin{array}{rlr}p({\omega }_1|x)& & 如果判定为{\omega }_2\\ p({\omega }_2|x)& & 如果判定为{\omega }_1\end{array}$$
而又由于判定规则：
$$p({\omega }_1|x)>p({\omega }_2|x)选择{\omega }_1.否则选择{\omega }_2$$
我们可以得到：
$$p(error|x)=min[p({\omega }_1|x),p({\omega }_2|x)]$$
由此我们可以看出，我们每一次判决选择的都是最小的误差概率，所以这种情况下的贝叶斯决策拥有最小的平均误差概率。

这里承上启下：之前描述的贝叶斯决策基于的是最小化平均误差概率，而下面的介绍引入了风险理论，各个类别在误判时风险不同即需要付出的代价不同，而我们决策目标是最小化风险，所以误判风险也会影响最后的决策结果。

基于最小风险的贝叶斯决策的介绍对原问题进行了一些扩展：

• 特征由单一特征值扩展成特征向量
• 类别状态也不止两种类别
• 允许有其他行为，比如说拒绝决策
• 引入更一般的损失函数来代替误差概率

符号表示

${\omega }_1,{\omega }_2,...,{\omega }_c$：表示有限的$c$个类别状态

${\alpha }_1,{\alpha }_2,..,{\alpha }_{\alpha }$：表示有限的$\alpha$个可能采取的行为，${\alpha }_i$通常表示判决状态为类别状态${\omega }_i$

$\lambda ({\alpha }_i|{\omega }_j)$：类别状态为 ${\omega }_j$时采取行动${\alpha }_i$的风险。

$\mathbf{x}$：将特征值$x$扩展为特征向量$\mathbf{x}$

那么现在的贝叶斯公式变为：
$$\begin{gathered} p({\omega }_j|\mathbf{x})=\frac{p(\mathbf{x}|{\omega }_j).p({\omega }_j)}{p(\mathbf{x})} \\ p(\mathbf{x})=\sum _{j=1}^{2}p(\mathbf{x}|{\omega }_j)p({\omega }_j) \end{gathered}$$

当模式$\mathbf{x}$到来之后，并采取行为${\alpha }_i$之后的条件风险$R({\alpha }_i|\mathbf{x})$:
$$R({\alpha }_i|\mathbf{x})=\sum _{j=1}^c\lambda ({\alpha }_i|{\omega }_j)p({\omega }_j|\mathbf{x})$$
这个公式也比较好理解，其实就是模式$\mathbf{x}$被判决为各类别状态与被判决为该类别状态的风险的乘积之和，其实计算的相当于一个模式为$\mathbf{x}$的一个风险期望。

引入$\alpha (\mathbf{x})$为判决函数，总风险为：$R=\int R(\alpha (\mathbf{x})|\mathbf{x})p(\mathbf{x})d\mathbf{x}$

在这种情况下，为了最小化总风险，当模式$\mathbf{x}$到来时，对所有$i=1,...,\alpha$计算条件风险
$$R({\alpha }_i|\mathbf{x})=\sum _{j=1}^c\lambda ({\alpha }_i|{\omega }_j)p({\omega }_j|\mathbf{x})$$
选择行为${\alpha }_i$使得$R({\alpha }_i|\mathbf{x})$最小。最小化后的风险成为贝叶斯风险。

两类分类问题

这里相当于举个例子，将上述最小化风险理论应用于两类分类问题时的结果。

这里用${\lambda }_{ij}$记$\lambda ({\alpha }_i|{\omega }_j)$，表示实际类别为${\omega }_j$被判为${\omega }_i$时的风险。当模式$\mathbf{x}$到来时关于${\alpha }_1,{\alpha }_2$的条件风险分别为：
$$\begin{gathered} R({\alpha }_1|\mathbf{x})={\lambda }_{11}p({\omega }_1|\mathbf{x})+{\lambda }_{12}p({\omega }_2|\mathbf{x}) \\ R({\alpha }_2|\mathbf{x})={\lambda }_{21}p({\omega }_1|\mathbf{x})+{\lambda }_{22}p({\omega }_2|\mathbf{x}) \end{gathered}$$
这时候的基本规则就是$R({\alpha }_1|\mathbf{x})<R({\alpha }_2|\mathbf{x})$，判为${\omega }_1$。

我们对上面公式转化一下：
$$\begin{gathered} R({\alpha }_1|\mathbf{x})<R({\alpha }_2|\mathbf{x}) \\ \to {\lambda }_{11}p({\omega }_1|\mathbf{x})+{\lambda }_{12}p({\omega }_2|\mathbf{x})<{\lambda }_{21}p({\omega }_1|\mathbf{x})+{\lambda }_{22}p({\omega }_2|\mathbf{x}) \\ \to ({\lambda }_{21}-{\lambda }_{11})p({\omega }_1|\mathbf{x})>({\lambda }_{12}-{\lambda }_{22})p({\omega }_2|\mathbf{x}) \\ \to ({\lambda }_{21}-{\lambda }_{11})p(\mathbf{x}|{\omega }_1)p({\omega }_1)>({\lambda }_{12}-{\lambda }_{22})p(\mathbf{x}|{\omega }_2)p({\omega }_2) \end{gathered}$$
这里推出来的最后一个式子就是最后的判决为${\omega }_1$需要满足的公式。我们和之前基于最小化误差概率的判决公式对比一下，发现其实多了一个风险来参与调节选择，由之前的似然概率，先验概率共同判断变成了现在的由误判风险，似然概率，先验概率三者一起判断。

这里为了便于理解，我们可以带点数进去算。

${\lambda }_{11}$	${\lambda }_{12}$	${\lambda }_{21}$	${\lambda }_{22}$
0	1	10	0

这里的设置是判决正确不产生任何风险，将类别${\omega }_2$错判为${\omega }_1$风险为1小于将类别${\omega }_1$判为${\omega }_2$的风险。

这时候计算一下
$$10\times 0.1=1>1\times 0.9$$
所以即使类别状态${\omega }_2$的似然概率和先验概率乘积更大，我们仍然选择的是判别为${\omega }_1$，因为将${\omega }_1$错判为${\omega }_2$的风险太大了，即使也似然概率和先验概率较大也不足以承担。

最后介绍一下似然比，也是通过之前的公式推过来的。
$$\begin{gathered} ({\lambda }_{21}-{\lambda }_{11})p(\mathbf{x}|{\omega }_1)p({\omega }_1)>({\lambda }_{12}-{\lambda }_{22})p(\mathbf{x}|{\omega }_2)p({\omega }_2) \\ \to \frac{p(\mathbf{x}|{\omega }_1)}{p(\mathbf{x}|{\omega }_2)}>\frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}}\frac{p({\omega }_2)}{p({\omega }_1)} \end{gathered}$$
化成这个公式之后，我们就可以统一一下格式了，最小化误差概率和最小化风险相差的只是一个风险比值。那么贝叶斯决策规则就可以解释成如果似然比超过一个不依赖于$\mathbf{x}$的阈值即可。

好啦，课上的内容结束啦，下次上课继续~~~~。