机器学习的数学基础（2）——分类问题

类样本分布

以文本分类为例，第$n$个文件${\mathbf{x}}_{\mathbf{n}}$

在理解似然时，我们必须记住，似然模型是由已知的有标签数据训练得来的。得到
$$p({\mathbf{x}}_{\mathbf{n}}|t_n=c,\mathbf{X},\mathbf{t})$$
表示对于一个$c$类的数据，它在空间上的概率分布，一般的在远离大部分数据时变小，在靠近时变大。
在文本分类的问题上，要想知道似然函数必须知道多项分布
$$P(X=\mathbf{x})=P(\mathbf{x})=\frac{N!}{{\prod }_j{x}_j!}\prod _j{q}_j^{x_j}$$
中向量$\mathbf{q}$的值，从而计算当某一个类已知的数据出现时，它的属性是${\mathbf{x}}_{\mathbf{n}}$的概率是多少。那么如何计算呢？

1. 使用最大似然估计，思路是：既然我们已经知道了所有类别为$c$的样本属性，要估计参数，显然要将所有的样本的似然值相乘得到似然函数，在通过求导使之最大化，得到取得最大时参数的值。过程为：
   $$P(X_n={\mathbf{x}}_n)=P({\mathbf{x}}_n)=\frac{S_n!}{{\prod }_{m=1}^M{x}_{nm}!}$$