概述，贝叶斯策略，最大似然估计

概述，贝叶斯策略，最大似然估计

标签： 模式分类

@author lancelot-vim

---

绪论

宽度和数量直方图：

光泽度和数量直方图：

宽度-光泽度联合分类图：

简单归纳：

1. 从单一特征得到的分类一般不强
2. 将单一特征组合起来成多特征分类能得到更强的分类器
3. 分类器模型简单（如图中红色线条）会比较弱，分类器太强（如图中蓝色线条）可能会过分类
4. 以上问题，可能会存在如果鲈鱼分错，可能不会有太大的问题，但反之可能造成很大的影响

问题:

1. 如何选择特征
2. 如何选择分类器
3. 分类之后如何采取行动

---

处理方案流程图：

贝叶斯决策论

引言

条件概率密度与贝叶斯公式

$P(w_1) = \frac{2}{3}$, $P(w_2) = \frac{1}{3}$时的后验概率：

---

误差定义：

$$p(error)=\left\{ \begin{aligned} p(w_{1}|x) & & x \in w_{2} \\ p(w_{2}|x) & & x \notin w_{2} \\ \end{aligned} \right.$$

总误差为： $P(error) = \int_{-\infty}^{\infty} p(error,x)dx = \int_{-\infty}^{\infty} p(error|x)p(x)dx$

对 $\forall x$, 若 $p(error|x)$ 尽量小， 那么 $P(error)$就尽量小， 所以令 $p(error|x) = min[p(w_{1}|x), p(w_{2}|x)]$

---

连续特征的贝叶斯决策论

• 允许使用多于一个的特征
• 允许使用两种类别以上的情形
• 允许有其他行为而不仅仅只是判定类别
• 通过引入一个更一般的损失函数来代替误差概率

以下4个约定：
1. $\{w_1, w_2, w_3,... w_c\}$ 表示c个类别(class)
2. $\{\alpha_1, \alpha_2, \alpha_3.... \alpha_a \}$ 表示a中行动(action)
3. $\lambda(\alpha_i|w_j)$ 表示类别为$w_j$，采取行为$\alpha_i$的损失
4. $\vec{x}$表示d维的特征

根据贝叶斯公式： $p(w_j|\vec{x}) = \frac{p(\vec{x} | w_j)p(w_j)}{p(\vec{x})}$

若观测到$\vec{x}_0$,采取行为$\alpha_i$，则损失为：$R( \alpha_i | \vec{x}_0)$ = $\sum_{j=1}^{c}\lambda(\alpha_i | w_j)p(w_j|\vec{x}_0)$

总损失为: $R = \int R(\alpha(\vec{x}) | \vec{x})P(\vec{x})d\vec{x}$
若选择$\alpha(\vec{x}）$使得：$R(\alpha_i | \vec{x})$对每个$\vec{x}$尽可能小，则风险函数最小化

---

对于二分类问题

约定：
1. $\alpha_1$ 对应于$w_1$
2. $\alpha_2$ 对应于$w_2$
3. λij=λ(αi|w