机器学习 之 作业3

实际上就是在求朴素贝叶斯的参数估计而已。

$X$连续的情况
P(Xi∣Yi,θ)=∏k=1KN(Yi∣μR,ΣR)I{yi=k}P(X_i|Y_i,\theta)=\prod^K_{k=1}N(Y_i|\mu_R,\Sigma_R)^{I\{y_i=k\}}P(Xi​∣Yi​,θ)=∏k=1K​N(Yi​∣μR​,ΣR​)I{yi​=k}
仅仅是在说明是相互独立的而已，下面也是在说相互独立而已，这里只是在体现相互独立性。

什么意思呢？实际上，期望就是期望，我们不是要求它特定值，而是借助求它最大值的时候，求出$\theta$来。期望最重要的是它的式子，求$y$的最大值(高斯分布性质决定)就是直接的概率公式求最大值就可以了，求$x$的最大值(代表它是最应该挑选出来的，是事实根据)，它的概率公式是
$X$离散的情况
$y_i$更像什么？实际上是分类，如果二分类的话则$P(y_i)={\varphi }^{y_i}(1-\varphi {)}^{1-y_i}$(i∈{0,1}i\in\{0,1\}i∈{0,1})，这就是$y_i$的描述公式。每个分类都有一个描述公式，这里$y_i$表示属于某一类，$x_i$表示输入值(一只羊的特征)。
P(D∣θ)=∏i=1nP(xi,yi∣θ)=∏i=1nP(yi)P(xi∣yi)=∏i=1n(ϕyi(1−ϕ)1−yi)×∏j=1d∏k=1K(ϕkjxij(1−ϕkj)1−xij)I{yi=k}P(D|\theta)=\prod^n_{i=1}P(x_i,y_i|\theta)=\prod^n_{i=1}P(y_i)P(x_i|y_i)\\ =\prod^n_{i=1}(\phi^{y_i}(1-\phi)^{1-y_i})\times\prod^d_{j=1}\prod^K_{k=1}(\phi^{x_{ij}}_{kj}(1-\phi_{kj})^{1-x_{ij}})^{I\{y_i=k\}}P(D∣θ)=∏i=1n​P(xi​,yi​∣θ)=∏i=1n​P(yi​)P(xi​∣yi​)=∏i=1n​(ϕyi​(1−ϕ)1−yi​)×∏j=1d​∏k=1K​(ϕkjxij​​(1−ϕkj​)1−xij​)I{yi​=k}
求出${\varphi }_{kj}^{x_{ij}}$

那$P(D|\theta )$这个(数据，标签)在当前条件下的概率值，$\theta$就是$\varphi$，之所以不见了$\theta$是因为它变成了$\varphi$。

我在求什么呢？

$P(y|x,\theta )$才是最正常的，emmm
似然（likelihood）和概率（probability）
概率是给定$\theta ={\theta }_1$下$X=x$的可能性，就是给定参数后的正常公式啊。这时候肯定确定参数$\theta$了。说算$X$的概率分布也不算是错。
似然是给定样本$X=x$下参数$\theta ={\theta }_1$的可能性，
通常在概率统计学中$\text{X}$代表的是随机变量,而小写形式$x$通常代表其具体取值. 假定$X$服从二项分布(也可以是任何其他分布), 则可以写成$X\sim B(n,p)$, 而该二项分布情况下, 6次试验下$x$的取值可以是"010011"，而$X$表示其中的某一个。可以发现6次试验中,"1"出现了三次,那么这种情况下p取值为"1/2"是可能性最大的,即最接近$\theta$的真实分布。

似然函数可以看做是同一个函数形式下的不同视角，因为概率方程都是同一个。$X$与$\theta$相互转换，但关键是，$\theta$是一个固定值，$X$是一个随机变量。$X$是样本，$\theta$是最大似然值。

概率与似然用的是同一个概率公式，不同之处在于概率直接算出最后结果，似然要对概率求导等于0后求出似然值。
因此，似然函数实际上是$L(\theta |x)$，概率密度函数实际上是$f(x|\theta )$

那么$y$是什么呢？