分类模型-逻辑回归

最新推荐文章于 2025-10-27 15:47:02 发布

原创

最新推荐文章于 2025-10-27 15:47:02 发布 · 1.8k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#分类 #逻辑回归 #数据挖掘

1，逻辑回归的应用场景：

逻辑回归主要用于二分类问题。在医疗领域，用于疾病诊断和治疗效果预测；在金融领域，可进行信用风险评估和金融市场趋势预测；在市场营销领域，用于客户购买行为预测和客户细分；在互联网领域，用于垃圾邮件识别和用户流失预测；在交通领域，用于交通事故风险评估等。

2，逻辑回归的原理及完整流程：

2.1：模型输入：

逻辑回归模型的输入是一组特征向量。假设我们有个n特征变量，记为 $x_1, x_2, \cdots, x_n$ ，那么对于一个样本，其输入特征向量可表示为 $\mathbf{x} = (x_1, x_2, \cdots, x_n)$

2.2：线性组合：

首先对输入特征进行线性组合，得到一个线性表达式：
$z = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_nx_n$
这里的 $\beta_0, \beta_1, \cdots, \beta_n$ 是模型需要学习的参数，其中 $\beta_0$ 为截距项。

2.3：激活函数（Sigmoid）函数：

接着，通过激活函数将线性组合的结果z映射到一个概率值。逻辑回归常用的激活函数是 Sigmoid 函数，其公式为：

$p = \frac{1}{1 + e^{-z}}$

这个p值表示样本属于正类（类别 1）的概率，而属于负类（类别 0）的概率为1-p。

2.4：损失函数：

在逻辑回归中，常用的损失函数是对数似然损失函数。对于一个包含个m样本的数据集 $\{(\mathbf{x}^{(i)}, y^{(i)})\}_{i = 1}^{m}$ （其中 $\mathbf{x}^{(i)}$ 是第个 $i$ 样本的特征向量， $y^{(i)}\in\{0, 1\}$ 是对应的类别标签），对数似然损失函数为：

$L(\beta) = -\sum_{i = 1}^{m}[y^{(i)}\ln p(\mathbf{x}^{(i)}) + (1 - y^{(i)})\ln(1 - p(\mathbf{x}^{(i)}))]$

这里的目标是要最小化这个损失函数，找到使得损失函数最小的参数 $\beta$ 的值。