朴素贝叶斯理论推导 多项式分布 利用极大似然估计进行参数估计

朴素贝叶斯理论推导 多项式分布与伯努利分布 利用极大似然估计进行参数估计

（一）：贝叶斯定理

先从条件概率来看

$$\begin{gathered} P(AB)=P(A|B)\times P(B) \\ P(AB)=P(B|A)\times P(A) \end{gathered}$$
上式中，A,B事件同时发生的概率等于：

B发生时，A发生的概率乘B事件发生的概率。
或者可以说是A发生时，B发生的概率乘A事件发生的概率。

举个例子：
A：喝一杯牛奶，B：吃一块面包
P(A|B)：在吃一块面包的情况下，喝一杯牛奶的概率
此时若求P(AB)则要注意，P(A|B)是有条件存在的，但他的条件（吃一块面包） 仍然存在发生的概率。那么P(AB)：既吃面包也喝了牛奶的概率 就是 先吃一块面包的概率乘上在这个条件下，喝了牛奶的概率。

由上面两个等式可知：
$$P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(B|A)\times P(A)}{P(B)}$$
现在再引入全概率公式 ：
$$P(B)=\sum _{i=1}^{n}P(B|A_i)\times P(A_i)$$
则有：
$$P(A|B)=\frac{P(B|A)\times P(A)}{\sum _{i=1}^{n}p(B|A_i)\times P(A_i)}$$
这就是贝叶斯公式了。

（二）数据的定义

数据集：（i是数据集下标）
(X,Y)={    (x1,y1)  ,  (x2,y2)...(xi,yi)...(xN,yN)  } (X,Y)=\{\;\;(x_1,y_1)\;,\;(x_2,y_2)...(x_i,y_i)...(x_N,y_N)\;\}\\ (X,Y)={(x1​,y1​),(x2​,y2​)...(xi​,yi​)...(xN​,yN​)}
X是一个含有n维度（n个特征）的向量 （下标是h）
$$\begin{gathered} X⊑{\mathbb{R}}^n \\ X=({\omega }_1，{\omega }_2.....{\omega }_h....{\omega }_n) \end{gathered}$$
这里注意，每个维度也存在多种的可能性的，现在我们规定每个维度${\omega }_h$有$S_t$种可能性。
意思就是，比如X是一篇文章，w就是其中的某一个单词，而S_t就是这个单词可能出现的情况。w1 表示第一个单词，这个单词可能取值会有 Today、Hi、Hello等可能性。
$${\omega }_h=1,2...S_t...S_h$$

Y是该变量X的分类情况，比如一篇文章的分类可能是小说、散文、诗歌等等。 （下标用j表示）
Y={c1,c2....cj....ck} Y=\{c_1,c_2....c_j....c_k\}\\ Y={c1​,c2​....cj​....ck​}

（二）朴素贝叶斯——多项式模型：

模型的目标：
首先这个模型解决的问题是分类问题。
朴素+贝叶斯：朴素的意思就是概率独立性，贝叶斯就是运用贝叶斯定理。合在一起就是朴素贝叶斯。
但是同逻辑回归、SVM不同，朴素贝叶斯模型是以概率角度出发去做出分类的。
分类的原理就是找一个概率最大化的思想。其实就是求$argmaxP(Y|X)$ 在给我一个X（一篇文章）的情况下，求出他是哪个类型的概率最大。
比如它是散文的概率0.2、是小说的概率0.6、是诗歌的概率0.4。那么我们就说他是小说这个类别的。这就是这个模型的分类原理。

模型的求解：
根据上面说的，我们就是要求出$argmaxP(Y|X)$这个就行了，但是直接没办法求，我们需要用到贝叶斯公式。现在将贝叶斯公式代入：
$$P(Y=c_j|X=x_i)=\frac{P\left(X=x|Y=c_j\right)\times P\left(Y=c_j\right)}{P(X=x_i)}$$
要算的就是 给出一篇文章xi，它是cj类型的概率。

这里 有几个名词：
先验概率：就是根据已有知识不用做推断和概率假设能得到的概率，比如有10篇文章按照6：4装在AB两个盒子里，A盒子里有三篇小说。先验就是问A中拿出一本小说类型的概率是多少。直接可以知道是3/5
后验概率：就是现在的知识得不到的，比如现在我们要求的，拿出一篇文章是小说问它是从A拿出来概率。
似然性：也就是上面式子分子的那个条件概率。

现在注意一个问题，我们是要找不同 $j$ 值下的 $P(Y=c_j|X=x_i)$中最大的那一个概率，而每一个$j$ 值下的 $P(Y=c_j|X=x_i)$按照贝叶斯公式展开的分母都是$P(X=x_i)$，所以只用比较他们的分子大小即可。

要求的概率转化为求一个条件概率和一个先验：
$$\begin{gathered} P\left(X=x|Y=c_j\right) \\ P\left(Y=c_j\right) \end{gathered}$$
先验我们是知道的，现在来看看这个条件概率：
先把X按n维展开
$$P\left(X=x|Y=c_j\right)=P（W_1={\omega }_1,W_2={\omega }_2....W_n={\omega }_n|Y=c_j)$$
这里我们就有了大问题，w1，w2…wn这有n个维度呢。这里我们会得到很多参数，参数个数为：
$$K\times \prod _{h=1}^n{S}_h$$
因为每个维度都有很多可能性。这样给计算带来了巨大的麻烦。所以映入朴素的概念。
朴素就是一种假设，假设n维内 任意两个维度之间是无关的.$${\omega }_i\perp {\omega }_j\left(i\ne j;i，j<n\right)$$

这里举个例子：
$P(ABC)=P(A)P(B)P(C)$ 当且仅当ABC事件相互独立
这样子我们要求的参数个数就变成了：$K{\sum }_{h=1}^n{S}_h$ 不再是指数量级了

现在将要求的条件概率写成n维连乘的形式
$$P\left(X=x|Y=c_j\right)=\prod _{h=1}^{n}P（W_h={\omega }_h|Y=c_j）$$
接着把单个维度的可能性也展开：
P(Wh=ωh∣Y=cj)=∏t=1Sh  P(ωh=Sht∣Y=cj)I{ωh=Sht,Y=cj}  P(W_h=\omega_h\vert Y=c_j)=\prod_{t=1}^{S_h}\;P{(\omega_h=S_{ht}\vert Y=c_j)}^{I\{\omega_h=S_{ht},Y=c_j\}}\;P(Wh​=ωh​∣Y=cj​)=t=1∏Sh​​P(ωh​=Sht​∣Y=cj​)I{ωh​=Sht​,Y=cj​}
为了简化参数（参数就是不知道的概率，就是上面说过的先验和这个条件概率）
P(Wh=ωh∣Y=cj)=∏t=1Sh  θhtI{ωh=Sht,Y=cj}P(W_h=\omega_h\vert Y=c_j)=\prod_{t=1}^{S_h}\;\theta_{ht}^{I\{\omega_h=S_{ht},Y=c_j\}}\\ P(Wh​=ωh​∣Y=cj​)=t=1∏Sh​​θhtI{ωh​=Sht​,Y=cj​}​
条件概率最终化简为：
P(X=x∣Y=cj)=∏h=1n∏t=1Sh  θhtI{ωh=Sht,Y=cj}P(X=x\vert Y=c_j)=\prod_{h=1}^n\prod_{t=1}^{S_h}\;\theta_{ht}^{I\{\omega_h=S_{ht},Y=c_j\}}\\ P(X=x∣Y=cj​)=h=1∏n​t=1∏Sh​​θhtI{ωh​=Sht​,Y=cj​}​

（三）多项式模型 MLE 最大似然估计：

最大似然函数：
（现在要估计的参数就是先验和条件概率，为了方便，就简写为参数）
$$l(参数)=\log \prod _{i=1}^{N}P(XY)$$
现在用之前的概率公式转换为
$$\Rightarrow \log \prod _{i=1}^{N}P(X|Y)\times P(Y)$$
n维展开特征维度
$$\Rightarrow \log \prod _{i=1}^N\left[\begin{array}{c}{\prod }_{h=1}^{n}P(W_j^i={\omega }_j^i|Y=c_j)\end{array}\right]\times P(Y)$$
此时 P(Y)可以用先验参数化
P(Y)=∏j=1KP(Y=cj)I{Y=cj}P(Y)=\prod_{j=1}^KP{(Y=c_j)}^{\boldsymbol I\boldsymbol\{\boldsymbol Y\boldsymbol={\boldsymbol c}_{\mathbf j}\boldsymbol\}}\\ P(Y)=j=1∏K​P(Y=cj​)I{Y=cj​}
P(Y)=∏j=1KπjI{Y=cj}P(Y)=\prod_{j=1}^K\pi_j^{\boldsymbol I\boldsymbol\{\boldsymbol Y\boldsymbol={\boldsymbol c}_{\mathbf j}\boldsymbol\}}P(Y)=j=1∏K​πjI{Y=cj​}​

走到这里，我们简化得到了两个参数 ${\pi }_j{\theta }_{ht}$,现在继续用MLE估计它们
⇒log⁡∏i=1N    [∏h=1nP(Wji=ωji  ∣Y=cj)]×∏j=1KP(Y=cj)I{Y=cj}  \Rightarrow\log\prod_{i=1}^N\;\;\begin{bmatrix}\prod_{h=1}^nP(W_j^i=\omega_j^i\;\vert Y=c_j)\end{bmatrix}\times\prod_{j=1}^KP{(Y=c_j)}^{I\{Y=c_j\}}\;⇒logi=1∏N​[∏h=1n​P(Wji​=ωji​∣Y=cj​)​]×j=1∏K​P(Y=cj​)I{Y=cj​}
将参数带入：
⇒log⁡∏i=1N  [  [∏h=1n∏t=1ShθhtI{ωj=Sht,Y=cj}]×∏j=1KπjI{Y=cj}]\Rightarrow\log\prod_{i=1}^N\;\left[\;\begin{bmatrix}\prod_{h=1}^n\prod_{t=1}^{S_h}\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{bmatrix}\times\prod_{j=1}^K\pi_j^{I\{Y=c_j\}}\right]⇒logi=1∏N​[[∏h=1n​∏t=1Sh​​θhtI{ωj​=Sht​,Y=cj​}​​]×j=1∏K​πjI{Y=cj​}​]
⇒∑i=1N  [log⁡  [∏h=1n∏t=1ShθhtI{ωj=Sht,Y=cj}]+log⁡∏j=1KπjI{Y=cj}]\Rightarrow\sum_{i=1}^N\;\left[\log\;\begin{bmatrix}\prod_{h=1}^n\prod_{t=1}^{S_h}\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{bmatrix}+\log\prod_{j=1}^K\pi_j^{I\{Y=c_j\}}\right]⇒i=1∑N​[log[∏h=1n​∏t=1Sh​​θhtI{ωj​=Sht​,Y=cj​}​​]+logj=1∏K​πjI{Y=cj​}​]
⇒∑i=1N  [  ∑h=1nlog⁡∏t=1ShθhtI{ωj=Sht,Y=cj}+∑j=1Klog⁡πjI{Y=cj}]\Rightarrow\sum_{i=1}^N\;\left[\;\begin{array}{c}\sum_{h=1}^n\log\prod_{t=1}^{S_h}\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{array}+\sum_{j=1}^K{\log\pi_j}^{I\{Y=c_j\}}\right]⇒i=1∑N​[∑h=1n​log∏t=1Sh​​θhtI{ωj​=Sht​,Y=cj​}​​+j=1∑K​logπj​I{Y=cj​}]
⇒∑i=1N  [  ∑h=1n∑t=1Shlog⁡θhtI{ωj=Sht,Y=cj}+∑j=1Klog⁡πjI{Y=cj}]\Rightarrow\sum_{i=1}^N\;\left[\;\begin{array}{c}\sum_{h=1}^n\sum_{t=1}^{S_h}\log\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{array}+\sum_{j=1}^K{\log\pi_j}^{I\{Y=c_j\}}\right]⇒i=1∑N​[∑h=1n​∑t=1Sh​​logθhtI{ωj​=Sht​,Y=cj​}​​+j=1∑K​logπj​I{Y=cj​}]
利用对数性质
⇒∑i=1N  [  ∑h=1n∑t=1ShI{ωj=Sht,Y=cj}×log⁡θht+∑j=1KI{Y=cj}×log⁡πj]\Rightarrow\sum_{i=1}^N\;\left[\;\begin{array}{c}\sum_{h=1}^n\sum_{t=1}^{S_h}I\{\omega_j=S_{ht},Y=c_j\}\times\log\theta_{ht}^{}\end{array}+\sum_{j=1}^KI\{Y=c_j\}\times{\log\pi_j}\right]⇒i=1∑N​[∑h=1n​∑t=1Sh​​I{ωj​=Sht​,Y=cj​}×logθht​​+j=1∑K​I{Y=cj​}×logπj​]
到这一步，最大似然函数已经化简到一个很好的状态了。
现在附上我们的约束项
$$\{\begin{array}{l}{\sum }_{j=1}^K{\pi }_j=1\\ \\ \\ {\sum }_{t=1}^S{\theta }_{ht}=1\end{array}$$
带有约束项的极值求解可以通过拉格朗日乘数法方便求解
$$L({\theta }_{ht},{\pi }_j)=l({\theta }_{ht},{\pi }_j)+\alpha \left(1-\sum _{j=1}^K{\pi }_j\right)+\sum _{h=1}^n\beta (1-\stackrel{S_h}{\underset{t=1}{\sum {\theta }_{ht}}})$$
现在对两个参数求导 并置为0

对于$p{i}_j$:

∂L(θht,πj)∂πj=∂[∑i=1N∑j=1KI{Y=cj​}log⁡πj+α(1−∑j=1Kπj)]∂πj=0\\\frac{\partial L(\theta_{ht},\pi_j)}{\partial\pi_j}=\frac{\partial\begin{bmatrix}{\displaystyle\sum_{i=1}^N}{\displaystyle\sum_{j=1}^K}I\{Y=c_j​\}\log\pi_j+\alpha\left(1-\sum_{j=1}^K\pi_j\right)\end{bmatrix}}{\partial\pi_j}=0∂πj​∂L(θht​,πj​)​=∂πj​∂[i=1∑N​j=1∑K​I{Y=cj​​}logπj​+α(1−∑j=1K​πj​)​]​=0
⇒∑j=1K[∑i=1NI{Y=cj​}πj−α]=0\Rightarrow\sum_{j=1}^K\left[\sum_{i=1}^N\frac{I\{Y=c_j​\}}{\pi_j}-\alpha\right]=0⇒j=1∑K​[i=1∑N​πj​I{Y=cj​​}​−α]=0
⇒∑i=1NI{Y=cj​}πj−α=0\Rightarrow\sum_{i=1}^N\frac{I\{Y=c_j​\}}{\pi_j}-\alpha=0⇒i=1∑N​πj​I{Y=cj​​}​−α=0

对于${\theta }_{ht}$:
⇒∂[∑i=1N​∑h=1n∑t=1Sh​I{ωij=Sht​,Y=cj}​×logθht+∑h=1nβh(1−∑θhtt=1Sh)​​]∂θht=0\Rightarrow\frac{\partial\left[{\displaystyle\sum_{i=1}^N}​{\displaystyle\sum_{h=1}^n}{\displaystyle\sum_{t=1}^{S_h}}​I\{{\omega^i}_j=S_{ht}​,Y=cj\}​\times log\theta_{ht}+\sum_{h=1}^n\beta_h(1-\overset{S_h}{\underset{t=1}{\sum\theta_{ht}}})​​\right]}{\partial\theta_{ht}}=0⇒∂θht​∂[i=1∑N​​h=1∑n​t=1∑Sh​​​I{ωij​=Sht​​,Y=cj}​×logθht​+∑h=1n​βh​(1−t=1∑θht​​Sh​​)​​]​=0
∂θht=0⇒∑h=1n∑t=1Sh[∑i=1NI{ωij=Sht​,Y=cj}θht−βh​]=0{\partial\theta_{ht}}=0\\\Rightarrow\sum_{h=1}^n\sum_{t=1}^{S_h}\left[\sum_{i=1}^N\frac{I\{{\omega^i}_j=S_{ht}​,Y=cj\}}{\theta_{ht}}-\beta_h​\right]=0∂θht​=0⇒h=1∑n​t=1∑Sh​​[i=1∑N​θht​I{ωij​=Sht​​,Y=cj}​−βh​​]=0
∂θht=0⇒∑i=1NI{ωij=Sht​,Y=cj}θht−βh​=0{\partial\theta_{ht}}=0\\\Rightarrow\sum_{i=1}^N\frac{I\{{\omega^i}_j=S_{ht}​,Y=cj\}}{\theta_{ht}}-\beta_h​=0∂θht​=0⇒i=1∑N​θht​I{ωij​=Sht​​,Y=cj}​−βh​​=0
综上：
⇒{πj=∑i=1NI{Y=cj}αθht=∑i=1NI{ωji=Sht,Y=cj}βh\Rightarrow\left\{\begin{array}{l}\pi_j=\frac{\sum_{i=1}^NI\{Y=c_j\}}\alpha\\\\\\\theta_{ht}=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}}{\beta_h}\end{array}\right.⇒⎩⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎧​πj​=α∑i=1N​I{Y=cj​}​θht​=βh​i=1∑N​I{ωji​=Sht​,Y=cj​}​​
现在联立约束项和偏微分结果

⇒{α=∑i=1NI{Y=cj}πj=∑j=1K∑i=1NI{Y=cj}∑j=1Kπj=∑j=1K∑i=1NI{Y=cj}βh=∑i=1NI{ωji=Sht,Y=cj}θht=∑t=1Sj∑i=1NI{ωji=Sht,Y=cj}∑t=1Sjθht=∑t=1Sj∑i=1NI{ωji=Sht,Y=cj}\Rightarrow\left\{\begin{array}{l}\alpha=\frac{\sum_{i=1}^NI\{Y=c_j\}}{\pi_j}=\frac{{\displaystyle\sum_{j=1}^K}\sum_{i=1}^NI\{Y=c_j\}}{\sum_{j=1}^K\pi_j}=\sum_{j=1}^K\sum_{i=1}^NI\{Y=c_j\}\\\beta_h=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}}{\theta_{ht}}=\frac{\displaystyle\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}}{\sum_{t=1}^{S_j}\theta_{ht}}=\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}\end{array}\right.⇒⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧​α=πj​∑i=1N​I{Y=cj​}​=∑j=1K​πj​j=1∑K​∑i=1N​I{Y=cj​}​=∑j=1K​∑i=1N​I{Y=cj​}βh​=θht​i=1∑N​I{ωji​=Sht​,Y=cj​}​=∑t=1Sj​​θht​t=1∑Sj​​i=1∑N​I{ωji​=Sht​,Y=cj​}​=∑t=1Sj​​∑i=1N​I{ωji​=Sht​,Y=cj​}​
⇒{πj=∑i=1NI{Y=cj}∑j=1K∑i=1NI{Y=cj}=NjN=Ncj类型的文章数N样本总数θht=∑i=1NI{ωji=Sht,Y=cj}∑t=1Sj∑i=1NI{ωji=Sht,Y=cj}=N第cj类单词ωj出现的个数N第cj类单词所有单词出现的个数\Rightarrow\left\{\begin{array}{l}\pi_j=\frac{\sum_{i=1}^NI\{Y=c_j\}}{\sum_{j=1}^K\sum_{i=1}^NI\{Y=c_j\}}=\frac{N_j}N=\frac{N_{c_j\mathrm{类型的文章数}}}{N_{\mathrm{样本总数}}}\\\theta_{ht}=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}}{\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}}=\frac{N_{第c_j\mathrm{类单词}\omega_j\mathrm{出现的个数}}}{N_{第c_j\mathrm{类单词所有单词出现的个数}}}\end{array}\right.⇒⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​πj​=∑j=1K​∑i=1N​I{Y=cj​}∑i=1N​I{Y=cj​}​=NNj​​=N样本总数​Ncj​类型的文章数​​θht​=∑t=1Sj​​∑i=1N​I{ωji​=Sht​,Y=cj​}i=1∑N​I{ωji​=Sht​,Y=cj​}​=N第cj​类单词所有单词出现的个数​N第cj​类单词ωj​出现的个数​​​

（四）拉普拉斯平滑

为了避免乘0 或除0的情况，
⇒{πj=∑i=1NI{Y=cj}+1∑j=1K∑i=1NI{Y=cj}+Kθht=∑i=1NI{ωji=Sht,Y=cj}+1∑t=1Sj∑i=1NI{ωji=Sht,Y=cj}+Sj \Rightarrow\left\{\begin{array}{l}\pi_j=\frac{\sum_{i=1}^NI\{Y=c_j\}+1}{\sum_{j=1}^K\sum_{i=1}^NI\{Y=c_j\}+K}\\\theta_{ht}=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}+1}{\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}+S_j}\end{array}\right.⇒⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​πj​=∑j=1K​∑i=1N​I{Y=cj​}+K∑i=1N​I{Y=cj​}+1​θht​=∑t=1Sj​​∑i=1N​I{ωji​=Sht​,Y=cj​}+Sj​i=1∑N​I{ωji​=Sht​,Y=cj​}+1​​

总结：由此，我们得到了很好的估计参数${\theta }_{ht}$ 和 ${\pi }_j$ 可以把他们带入后验的概率表达式中，输入一个未知样本X,最后得到类别可能性最大的那个类别，即为最终输出。