逻辑回归的损失函数与损失函数的梯度公式推导

逻辑回归的损失函数

  逻辑回归的函数为
$$f(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

  公式满足分布函数的性质
(1)非负有界性 $0<=F(x)<=1$ (2)单调连续性 (3)右连续性 $F(x_0^{+})=F(x)$
  所以可以认为是随机变量x的分布函数，即为$$F(x)=P(x)$$即为
$$P(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$ 公式1
  假设该分类标签为1时的概率为P,我们可以假设对于一个特定的score,如果大于该score该事件发生；小于或等于该score,该事件不发生。
发生该事件即为变量Y = 1，不发生即为Y = 0,假设Y = 1发生的概率为P，这Y = 0发生的概率为1 - P。
  对于变量Y分布函数可以写成
$$p(y|x)=f(x)=\{\begin{array}{c}P,Y=1\\ 1-P,Y=0\end{array}$$

  为简化表示可以写成
$$P(y|x)=P^y(1-P{)}^{(y-1)}$$
  对于已有的样本数据集$X_1,X_2,...,X_n$
对于上述样本同时发生的概率可以表示为

$$P_{总}$$