逻辑回归：使用 S 型函数进行概率预测

逻辑回归：使用 S 型函数进行概率预测

摘要

本文章深入探讨了逻辑回归模型如何利用 S 型函数将线性回归的输出转换为概率值。文章详细阐述了 S 型函数的数学原理、在逻辑回归中的应用以及其在机器学习中的重要性。通过具体示例和练习，帮助读者理解如何使用逻辑回归模型进行概率预测，并将其应用于实际问题中。

引言

在机器学习中，许多问题需要将概率估算值作为输出。逻辑回归是一种极其高效的概率计算机制。实际上，您可以通过以下两种方式使用返回的概率：

1. “按原样”应用。例如，如果垃圾邮件预测模型将电子邮件作为输入并输出值 0.932，这表示概率为 93.2% 电子邮件是垃圾邮件。
2. 转换为二元类别，例如 True 或 False、Spam 或 Not Spam。
   本文章重点介绍如何按原样使用逻辑回归模型输出。在“分类”模块中，您将学习如何将此输出转换为二元类别。

S 型函数

您可能想知道逻辑回归模型如何确保其输出表示概率，始终输出介于 0 到 1 之间的值。这是因为发生了一系列函数，这些函数称为逻辑函数，其输出具有相同的特征。标准逻辑函数，也称为 S 型函数（sigmoid 表示“s 形”），其公式如下：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
图 1 显示了 sigmoid 函数的相应图表。
在笛卡尔坐标平面上绘制的以原点为中心的 Sigmoid（S 形）曲线。
图 1. S 型函数的图形。曲线接近 0 因为 x 值减少到负无穷大，而 1 则等于 x 值越接近无穷大。
随着输入 x 的增加，sigmoid 函数的输出会接近 1，但永远不会达到 1。同样，当输入值减小时，S 型函数的输出接近，但永远不会达到 0。

S 型函数的数学原理

S 型函数，或称为 sigmoid 函数，是一种在生物学、人口统计学和机器学习等多个领域中广泛使用的函数。在机器学习中，它特别适用于将实数值映射到概率范围 [0, 1]。
sigmoid 函数的导数是：
$${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$$
这个性质使得 sigmoid 函数在反向传播中非常有用，因为它简化了梯度计算。

使用 S 型函数转换线性输出

以下等式表示逻辑回归模型的线性组件：
$$z=b+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n$$
其中：

• $z$ 是线性方程的输出（也称为对数几率）。
• $b$ 是偏差。
• $w$ 的值是模型学习的权重。
• $x$ 的值是特定样本的特征值。
  要获得逻辑回归预测结果，请将 $z$ 值传递给 S 型函数，将得到一个介于 0 到 1 之间的值（概率）：
  $$y^{\prime }=\sigma (z)=\frac{1}{1+e^{-z}}$$
  其中：
• $y^{\prime }$ 是逻辑回归模型的输出。
• $z$ 为线性输出（按上述等式计算得出）。

对数几率

在等式 $y^{\prime }=\sigma (z)$ 中，$z$ 被称为对数几率，因为如果您从以下 sigmoid 函数开始（其中 $y^{\prime }$ 是逻辑回归模型的输出，表示概率）：
$$y^{\prime }=\frac{1}{1+e^{-z}}$$
然后求解 $z$：
$$z=\ln \left(\frac{y^{\prime }}{1-y^{\prime }}\right)$$
因此，$z$ 被定义为概率比率的对数，两种可能的结果中的一种：$y$ 和 $1-y$。

示例：将线性输出转换为逻辑回归输出

图 2 说明了如何将线性输出转换为逻辑回归输出结果。
左侧：突出显示了点 (-7.5, -10)、(-2.5, 0) 和 (0, 5) 的线条。右：带有相应转换点 (-10, 0.00004)、(0, 0.5) 和 (5, 0.9933) 的 Sigmoid 曲线。
图 2. 左图：线性方程 $z=2x+5$，包含三个突出显示的数据点。右侧：三个点相同的 S 型曲线通过 S 型函数转换后突出显示。
在图 2 中，线性方程会成为 S 型函数的输入，该函数会将直线弯曲成 S 形。请注意，线性方程可以输出非常大或非常小的 $z$ 值，但 S 型函数的输出 $y^{\prime }$ 始终介于 0 和 1 之间（不含 0 和 1）。例如，左侧图表中的黄色方块的 $z$ 值为 -10，但右侧图表中的 S 型函数会将该 -10 映射为 $y^{\prime }$ 值 0.00004。

练习：检查您的理解情况

假设有一个具有三个特征的逻辑回归模型，其偏差和权重如下：
$$b=2,w=[1,-1,0.5]$$
对于一个输入样本 $x=[1,2,3]$，计算其概率输出 $y^{\prime }$。

解答

首先，计算线性输出 $z$：
$$z=b+w_1{x}_1+w_2{x}_2+w_3{x}_3=2+1\times 1+(-1)\times 2+0.5\times 3=2+1-2+1.5=2.5$$
然后，将 $z$ 传递给 S 型函数：
$$y^{\prime }=\sigma (2.5)=\frac{1}{1+e^{-2.5}}\approx 0.9241$$
因此，该输入样本被预测为正类别的概率约为 92.41%。

总结

本文章详细探讨了逻辑回归模型如何利用 S 型函数将线性回归的输出转换为概率值。通过具体示例和练习，帮助读者理解如何使用逻辑回归模型进行概率预测，并将其应用于实际问题中。希望本文章对您有所帮助，如果您有任何问题或建议，请随时留言。