18、机器学习中的分类模型与支持向量机

机器学习中的分类模型与支持向量机

1. 逻辑回归与最大熵模型

1.1 拟牛顿法学习最大熵模型

牛顿法或拟牛顿法可用于学习最大熵模型。最大熵模型的条件概率分布为：
[P_w(y|x)=\frac{\exp\left(\sum_{i = 1}^{n}w_{i}f_{i}(x,y)\right)}{\sum_{y}\exp\left(\sum_{i = 1}^{n}w_{i}f_{i}(x,y)\right)}]
目标函数为：
[\min_{w\in R^{n}}f(w)=\sum_{x}\tilde{P}(x)\log\sum_{y}\exp\left(\sum_{i = 1}^{n}w_{i}f_{i}(x,y)\right)-\sum_{x,y}\tilde{P}(x,y)\sum_{i = 1}^{n}w_{i}f_{i}(x,y)]
梯度为：
[g(w)=\left(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},\cdots,\frac{\partial f(w)}{\partial w_n}\right)^T]
其中(\frac{\partial f(w)}{\partial w_{i}}=\sum_{x,y}\tilde{P}(x)P_w(y|x)f_{i}(x,y)-E_{\tilde{P}}(f_{i}))，(i = 1,2,\cdots,n)。

对应的拟牛顿BFGS算法如下：
|步骤|操作|
| ---- | ---- |
|输入|特征函数(f_1,f_2,\cdots,f_n)；