贝叶斯分类器

1.从误判损失理解条件概率：

$\lambda_{ij}是将一个真实标记为c_j误判为c_i所产生的损失，P(c_i|x)为样本x的类别标记为c_i 的后验概率，可得基于后验概率将样本x分类为c_i的期望损失，也就是样本x的“条件风险”$

$$\ R(C_i|X)=\sum_{j=0}^N \lambda_{ij}P(c_j|x)$$
最小化分类错误率，误判损失$\lambda_{ij}$可以写作：
$$\lambda_{ij}= \begin{cases} 0&\mbox {if $i=j$}\\ 1&\mbox{otherwise} \end{cases}$$
则条件风险可写作：
$$R(c|x)=1-P(c|x)$$
理解：$R(c|x)=1-P(c|x)为整体概率1减去x的类别真实为1 的概率$

2.似然（类条件概率）

$P(x|c)样本x相对于类标记c的类条件概率$

3贝叶斯分类器

1）最优贝叶斯分类器

$$\DeclareMathOperator*{\argmin}{argmin} \DeclareMathOperator*{\argmax}{argmax} h^*(x)=\argmin\limits_{c \in y}R(c|x) =\argmax\limits_{c \in y}P(c|x)$$
2)朴素贝叶斯分类器（naive Bayes Classifiers）
动机：避免基于贝叶斯公式估计后验概率 $P(c|x)$ 的困难,由于类条件概率是所有属性上的联合概率，难从有限的样本直接得到
理解：假设对西瓜进行分类，类别标记为$(c_1,c_2)=(好瓜，坏瓜)$，则属性$d=（色泽、纹理、声音、藤蔓...）$,欲求$P（x|c_1）$的似然，是对属性$d$的联合概率分布
应对：采用属性条件独立性假设
$$\DeclareMathOperator*{\argmax}{argmax} h_{nb}(x)=\argmax\limits_{c\in y}P(c)\prod_{i=1}^d P(x_i|c)$$
$d为属性数目，x_i为样本x在属性i上的取值$