《统计学习方法》（第四章）——朴素贝叶斯

朴素贝叶斯的学习与分类

• 基本方法
    定义：设输入空间$\chi \subseteq R^n$为n维向量的集合，输出空间为类标记集合γ={c1,c2,..,ck}.\gamma=\{c_1,c_2,..,c_k\}.γ={c1​,c2​,..,ck​}.输入的特征向量$x\in \chi ,$输出类别$y\in \gamma .X$是定义在输入空间$\chi$上的随机向量，$Y$是定义在输出空间$\gamma$上的随机变量。$P(X,Y)$是$X$和$Y$的联合概率分布.训练数据集
        T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}由$P(X,Y)$独立同分布产生.
    朴素贝叶斯通过训练数据生成$P(X,Y).$ 具体地，学习以下两个先验概率分布
        $P(Y=c_k),k=1,2,...,K$
        $P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,..,K$
    于是我们就学到联合概率分布，因为参数很多，我们假设所有条件独立。
        $P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)={\prod }_{i=1}^{N}P(X^{(i)}=x^{(i)}|Y=c_k)$
    因此对于实例我们可以这样预测
        $P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)\ast P(Y=c_k)}{\sum _{i}P(X=x|Y=c_i)\ast P(Y=c_i)}$
        $P(Y=c_k|X=x)=\frac{{\prod }_{i=1}^{N}P(X^{(i)}=x^{(i)}|Y=c_k)\ast P(Y=c_k)}{\sum _i{\prod }_{i=1}^{N}P(X^{(j)}=x^{(j)}|Y=c_k)\ast P(Y=c_k)},k=1,2,...,K$
        $y=f(x)=argma{x}_{c_k}=\frac{{\prod }_{i=1}^{N}P(X^{(i)}=x^{(i)}|Y=c_k)\ast P(Y=c_k)}{\sum _i{\prod }_{i=1}^{N}P(X^{(j)}=x^{(j)}|Y=c_k)\ast P(Y=c_k)}$
        $y=f(x)=argma{x}_{c_k}P(Y=c_k)\ast {\prod }_{i=1}^{N}P(X^{(i)}=x^{(i)}|Y=c_k)$

• 后验概率最大化的含义
    后验概率最大类，等价于期望风险最小化。假设选择$0-1$损失函数
        $L(Y,f(X))=\{\begin{array}{ll}+1& Y\ne f(X)\\ -1& Y=f(X)\end{array}$
      这里$f(X)$是决策函数，这时期望风险函数为$R_{exp}(f)=E[L(Y,f(X))]$其为对联合概率分布$P(X,Y)$取的
    所以$R_{exp}(f)=E_X[\sum _{k=1}^K[L(c_k,f(X))]\ast P(c_k|X)]$,为了其最小化只需针对每个$x$最小化就好了
    $f(x)=argmi{n}_{y\in \gamma }\sum _{k=1}^{K}L(c_k,y)\ast P(c_k|X=x)=argmi{n}_{y\in \gamma }\sum _{k=1}^{K}P(y\ne c_k|X=x)$
       $=argmi{n}_{y\in \gamma }(1-P(y=c_k|X=x))=argma{x}_{y\in \gamma }P(y=c_k|X=x)$
       所以得到，$f(x)=argma{x}_{y\in \gamma }P(y=c_k|X=x)$

朴素贝叶斯的参数估计

• 极大似然估计
       $P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$
       $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)},j=1,2,...,n;l=1,2,..,S_j;k=1,2,...,K$,$a_{jl}$为第$j$个特征可能取值
• 学习与分类算法
    按照极大似然估计统计出来后计算$P(Y=c_k)\ast {\prod }_{i=1}^{N}P(X^{(i)}=x^{(i)}|Y=c_k),k=1,2,...,K$
    $y=f(x)=argma{x}_{y\in \gamma }P(y=c_k|X=x)$
• 贝叶斯估计
    因为直接统计会出现概率为0的现象，这很不合理，出现偏差。这时我们进行平滑处理，
       $P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\ast \lambda },k=1,2,...,K$
       $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+S_j\ast \lambda },j=1,2,...,n;l=1,2,..,S_j;k=1,2,...,K$,$a_{jl}$
       $K$为种类数，$S_j$为属性$j$的个数

课后实现