【机器学习-09】-逻辑回归 (Logistic Regression)-分类问题

【机器学习-09】-逻辑回归 (Logistic Regression)-分类问题

逻辑回归 虽然带有回归两个字实际上是分类。它是用于处理二分类问题的监督学习算法。在二分类问题中，输出变量的取值是两个类别之一，通常表示为0和1，其中1表示正类，0表示负类。在这个练习中，我们将实现逻辑回归并应用于两个不同的数据集。

这是目前最流行使用最广泛的一种学习算法。

逻辑回归核心内容解析

---

1. Sigmoid函数的核心作用

• 数学形式：
g(z)代表一个常用的逻辑函数（logistic function）为S形函数（Sigmoid function），公式为
$$g(z)=\frac{1}{1+e^{-z}}$$
• 输入 ( z )（线性组合：$z=w\cdot x+b$)，输出范围严格限制在 (0,1) 之间。
• 特性：
◦ 当 $z\to +\infty$，$g(z) \to 1$；当 $z\to -\infty$，$g(z)\to 0$。
◦ $z=0$ 时，$g(z)=0.5$（决策边界）。

---

2. 逻辑回归的公式推导

• 步骤：

1. 线性组合：计算 $z=w\cdot x+b$（权重 $w$ 和偏置 $b$）。
2. Sigmoid转换：通过$g(z)=\frac{1}{1+e^{-z}}$ 将 ( z ) 映射为概率。
3. 输出解释：( g(z) ) 表示样本属于正类（如肿瘤恶性）的概率。

• 关键公式标注：
• 图片中明确写出：
$$g(w\cdot x+b)=\frac{1}{1+e^{-(w\cdot x+b)}}$$
（确保输出在 0 和 1 之间）

---

3. 逻辑回归的决策规则

• 阈值设定：
• 默认阈值 0.5：若 $g(z)\ge 0.5$，预测为正类；否则为负类。
• 可调整阈值（如 0.7）以优化精确率或召回率。

• 示例：
• 若 ( z = 0 )（即 $w\cdot x+b=0$），则 $g(z)=0.5$，模型处于决策边界。

---

决策边界