PRML 阅读笔记（十二）<4.2>

4.2 Probabilistic Generative Models

      分类问题的生成模型：model p(x|ck),p(ck),再用Bayesian公式推导出p(ck|x)。对于“两类问题”，有：

        其中a的定义如下：

              

        其中有logistic function：

                      

       对K>2类分类问题，将logistic扩展到K类，即使用softmax function来解决。softmax的预测函数如下：

       

        即对每一个分类K都要有一个相应的预测值，分母是为了保证概率之和为1。当K=2使，可以推导出softmax即logistic。在分类之前，还要对p(x|ck)和p(ck)建模，下面来看看当x分别为连续型变量和离散型