8、机器学习分类器：逻辑回归与支持向量机详解

机器学习分类器：逻辑回归与支持向量机详解

1. 逻辑回归基础

逻辑回归是一种广泛应用于二元分类问题的机器学习算法。在逻辑回归中，我们关注的是预测一个样本属于某个类别的概率。通过绘制sigmoid激活函数（输入范围为 -10 到 10）与相关逻辑成本的关系图，我们可以发现一些重要特性。当正确预测样本属于类别 1 时，成本趋近于 0（连续线）；同样，当正确预测 y = 0 时，成本也趋近于 0（虚线）。然而，如果预测错误，成本会趋向于无穷大。这意味着我们会对错误预测施加越来越大的成本惩罚。

2. 从Adaline实现转换为逻辑回归算法

要实现逻辑回归，我们可以对Adaline实现进行一些修改。具体步骤如下：
1. 替换成本函数 ：将Adaline中的成本函数 $J$ 替换为逻辑回归的成本函数：
[J(w) = -\sum_{i} [y^{(i)} \log (\phi(z^{(i)})) + (1 - y^{(i)}) \log (1 - \phi(z^{(i)}))]]
2. 更换激活函数 ：将线性激活函数替换为sigmoid激活函数。
3. 修改阈值函数 ：将阈值函数修改为返回类别标签 0 和 1，而不是 -1 和 1。

以下是实现逻辑回归的Python代码：

import numpy as np

class LogisticRegressionGD(object):
    """Logistic Regression