逻辑分类公式

模型假设

$$h_{\theta }\left(\mathbf{x}\right)={\left(1+e^{-{\mathbf{\theta }}^T\mathbf{x}}\right)}^{-1}$$

代价函数

$$J\left(\mathbf{\theta }\right)=\frac{1}{m}\sum _{i=1}^m\text{Cost}\left(h_{\theta }\left({\mathbf{x}}^{\left(i\right)}\right),y^{\left(i\right)}\right)$$

如果预测量$h_{\theta }\left(x\right)$与$y$不相符，则带来的代价是指数增加的，反之如果相符合，则指数减小，其中，

$$\text{Cost}\left(h_{\theta }\left(\mathbf{x}\right),y\right)=\{\begin{array}{ll}-\log \left(h_{\theta }\left(\mathbf{x}\right)\right)& y=1\\ -\log \left(1-h_{\theta }\left(\mathbf{x}\right)\right)& y=0\end{array}$$
将上式化简等价为
$$\text{Cost}\left(h_{\theta }\left(\mathbf{x}\right),y\right)=-y\log \left(h_{\theta }\left(\mathbf{x}\right)\right)+\left(y-1\right)\log \left(1-h_{\theta }\left(\mathbf{x}\right)\right)$$
综上，
$$J\left(\mathbf{\theta }\right)=\frac{1}{m}\sum _{i=1}^m\left[-y^{\left(i\right)}\log \left(h_{\theta }\left({\mathbf{x}}^{\left(i\right)}\right)\right)+\left(y^{\left(i\right)}-1\right)\log \left(1-h_{\theta }\left({\mathbf{x}}^{\left(i\right)}\right)\right)\right]$$

梯度下降法

$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left(\mathbf{\theta }\right)\text{（j}=\text{0，1，2，3 }\dots n\text{）}$$
推导为
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{\text{i}=1}^{\text{m}}\left(h_{\theta }\left({\mathbf{x}}^{\left(i\right)}\right)-{\text{y}}^{\left(i\right)}\right)x_j^{\left(i\right)}\text{（j}=\text{0，1，2，3 }\dots n\text{）}$$
可以发现逻辑分类的梯度下降法的基本公式和线性回归的梯度下降法一样，不一样的地方在于他们的代价函数$h_{\theta }\left(\mathbf{x}\right)$。

多个分类

对于多个分类，利用多个逻辑分类器，观察各个分类器得到的可能值，可能最大的就是识别的类