8、机器学习分类器：逻辑回归与支持向量机详解

机器学习分类器：逻辑回归与支持向量机详解

1. 逻辑回归基础

1.1 逻辑回归成本函数与激活函数

逻辑回归是一种广泛应用于二分类问题的机器学习算法。在逻辑回归中，我们使用 sigmoid 激活函数将输入转换为概率值。sigmoid 函数的输入范围通常是 -10 到 10，输出范围是 0 到 1。逻辑回归的成本函数用于衡量模型预测结果与真实标签之间的差异。如果我们正确预测一个样本属于类别 1，成本趋近于 0；同样，如果正确预测 y = 0，成本也趋近于 0。但如果预测错误，成本会趋近于无穷大。这意味着我们会对错误预测给予越来越大的惩罚。

1.2 从 Adaline 实现转换为逻辑回归算法

要将 Adaline 实现转换为逻辑回归算法，我们需要进行以下更改：
1. 替换成本函数 ：将 Adaline 中的成本函数替换为逻辑回归的成本函数：
[J(w) = -\sum_{i} [y^{(i)} \log (\phi(z^{(i)})) + (1 - y^{(i)}) \log (1 - \phi(z^{(i)}))]]
2. 更换激活函数 ：将线性激活函数替换为 sigmoid 激活函数。
3. 修改阈值函数 ：将阈值函数改为返回类别标签 0 和 1，而不是 -1 和 1。

以下是实现逻辑回归的代码示例：

import numpy as np

class LogisticRegressionGD(object):