机器学习：从二项logistic distribution 到 softmax loss function

一、binomial logistic distribution

$x$是输入的特征向量值，$w$是权值，$w*x$是向量的内积，$Y \in \{0,1\}$是输出，利用上式求出两个概率值，将$x$划分为值大的那一类。

1. 对数几率（log odds）
   一个事件的几率（odds）是指该事件发生的概率$p$与不发生的概率（$1-p$）比值，即$\frac{p}{1-p}$。那么对数几率为：
   $$logit(p)=\frac{p }{1-p}$$
   对于logistic回归：
   

   • 模型参数估计
     logistic回归，给定训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$利用极大似然估计法估计模型参数 :
     

     二、多项logistic回归

     上面介绍用于二分类问题，推广到多分类问题有：
     

   • 三、softmax loss function

     

     四、Multiclass SVM loss

     

     五、参考文献

     1. 《统计学习方法》