如何理解逻辑回归中的损失函数

逻辑回归是一种有监督的分类模型，常用于二分类。

线性模型的公式是$y(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$，及$y(x)={\theta }^{T}x$。将线性模型带入sigmod函数就是用于二分类的逻辑回归：$y(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，这里$y(x)$的取值范围是（0，1），根据某个阈值可以将$y(x)$分为0和1。这里的$y(x)$是模型根据输入特征$x$的预测值，和数据的真实值进行比较可以判断模型预测的准确性。

逻辑回归函数的$\theta$需要根据训练数据进行求解，$\theta$的取值可以决定模型对数据的拟合效果，所以以$\theta$为参数的模型在训练集上的预测准确率越大越好。

因此使用损失函数这个评估指标来衡量以$\theta$为参数的模型拟合训练集时造成的信息损失的大小，用这个指标来衡量$\theta$的优劣。

损失函数大小的含义：损失函数越小，模型在训练集上的拟合效果越好。逻辑回归的损失函数的公式如下：

$$J(\theta )=-\sum _{i=1}^m(y_i\ast log(y_{\theta }(x_i))+(1-y_i)\ast log(1-y_{\theta }(x_i)))$$

推导过程：

现在有$m$个样本的数据集，其中一个样本$i$由特征向量$x_i$和真实标签$y_i$组成。和一个由参数$\theta$组成的逻辑回归模型

对样本$i$的预测有如下结果：

• 样本$i$被预测为1的概率：$P_1=P(\widehat{y_i}=1|x_i,\theta )=y_{\theta }(x_i)$

• 样本$i$被预测为0的概率：$P_0=P(\widehat{y_i}=0|x_i,\theta )=1-y_{\theta }(x_i)$

当$P_1$的值是1时，代表样本被预测为1

当$P_0$的值时1时，代表样本被预测为1

如果假设样本的真实标签是1则

• $P_1=1,P_0=0$预测真确
• $P_1=0,P_0=1$预测错误

将这两种情况整合到一个同时可以代表$P_1,P_0$式子中：
$$P(\widehat{y_i}|x_i,\theta )=P_1^{y_i}\ast P_0^{1-y_i}$$

• 如果样本的真实标签是1，$P(\widehat{y_i}|x_i,\theta )=P_1=1$
• 如果样本的真实标签是0，$P(\widehat{y_i}|x_i,\theta )=P_0=1$

如果样本的标签值和预测值一样就代表模型的拟合效果好，此时$P(\widehat{y_i}|x_i,\theta )=1$但$P(\widehat{y_i}|x_i,\theta )$是对单个样本$i$而言的，对于一个有$m$个样本的训练集而言有$m$个$P(\widehat{y_i}|x_i,\theta )$
$$\begin{gathered} P=\prod _{i=1}^{m}P(\widehat{y_i}|x_i,\theta ) \\ =\prod _{i=1}^m(P_1^{y_i}\ast P_0^{1-y_i}) \\ =\prod _{i=1}^m(y_{\theta }(x_i{)}^{y_i}\ast (1-y_{\theta }(x_i){)}^{1-y_i}) \end{gathered}$$
两边同时取对数
$$\begin{gathered} logP=log\prod _{i=1}^m(y_{\theta }(x_i{)}^{y_i}\ast (1-y_{\theta }(x_i){)}^{1-y_i}) \\ =\sum _{i=1}^{m}log(y_{\theta }(x_i{)}^{y_i}\ast (1-y_{\theta }(x_i){)}^{1-y_i}) \\ =\sum _{i=1}^m(log{y}_{\theta }(x_i{)}^{y_i}+log(1-y_{\theta }(x_i){)}^{1-y_i}) \\ =\sum _{i=1}^m(y_{i}log(y_{\theta }(x_i))+(1-y_i)log(1-y_{\theta }(x_i))) \end{gathered}$$
得到的就是交叉熵函数，对$logP$取负，得到最后的损失函数
$$J(\theta )=-\sum _{i=1}^m(y_i\ast log(y_{\theta }(x_i))+(1-y_i)\ast log(1-y_{\theta }(x_i)))$$

这里需要注意损失函数是求解最优$\theta$的函数，所以这里的自变量是$\theta$

以上就是求解逻辑回归中损失函数的过程，然后需要根据损失函数求解最优的$\theta$，可以使用梯度下降的方法。求解的$\theta$虽然在训练集中的拟合效果非常的好，但可能会出现过拟合的现象，可以使用L1、L2正则化，降低过拟合的影响。