逻辑回归：使用 S 型函数进行概率预测

逻辑回归：使用 S 型函数进行概率预测

摘要

本文章深入探讨了逻辑回归模型如何利用 S 型函数将线性回归的输出转换为概率值。文章详细阐述了 S 型函数的数学原理、在逻辑回归中的应用以及其在机器学习中的重要性。通过具体示例和练习，帮助读者理解如何使用逻辑回归模型进行概率预测，并将其应用于实际问题中。

引言

在机器学习中，许多问题需要将概率估算值作为输出。逻辑回归是一种极其高效的概率计算机制。实际上，您可以通过以下两种方式使用返回的概率：

1. “按原样”应用。例如，如果垃圾邮件预测模型将电子邮件作为输入并输出值 0.932，这表示概率为 93.2% 电子邮件是垃圾邮件。
2. 转换为二元类别，例如 True 或 False、Spam 或 Not Spam。
   本文章重点介绍如何按原样使用逻辑回归模型输出。在“分类”模块中，您将学习如何将此输出转换为二元类别。

S 型函数

您可能想知道逻辑回归模型如何确保其输出表示概率，始终输出介于 0 到 1 之间的值。这是因为发生了一系列函数，这些函数称为逻辑函数，其输出具有相同的特征。标准逻辑函数，也称为 S 型函数（sigmoid 表示“s 形”），其公式如下：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
图 1 显示了 sigmoid 函数的相应图表。
在笛卡尔坐标平面上绘制的以原点为中心的 Sigmoid（S 形）曲线。
图 1. S 型函数的图形。曲线接近 0 因为 x 值减少到负无穷大，而 1 则等于 x 值越接近无穷大。
随着输入 x 的增加，sigmoid 函数的输出会接近 1，但永远不会达到 1。同样，当输入值减小时，S 型函数的输出接近，但永远不会达到 0。

S 型函数的数学原理

S 型函数，或称为 sigmoid 函数，是一种在生物学、人口统计学和机器学习等多个领域中广泛使用的函数。在机器学习中，它特别适用于将实数值映射到概率范围 [0, 1]。
sigmoid 函数的导数是：
$${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$$
这个性质使得 sigmoid 函数在反向传播中非常有用，因为它简化了梯度计算。

使用 S 型函数转换线性输出

以下等式表示逻辑回归模型的线性组件：
$$z=b+w_1{x}_1+w_2{x}_2$$