15、机器学习中的逻辑回归、Softmax回归与支持向量机详解

机器学习中的逻辑回归、Softmax回归与支持向量机详解

1. 逻辑回归

逻辑回归是一种常用的分类算法，下面将详细介绍其原理、训练方法以及决策边界。

1.1 训练逻辑回归模型

逻辑回归的代价函数关于第 $j$ 个模型参数 $\theta_j$ 的偏导数由以下公式给出：
[
\frac{\partial}{\partial\theta_j}J(\theta) = \frac{1}{m} \sum_{i = 1}^{m} (\sigma(\theta^T x^{(i)}) - y^{(i)}) x_j^{(i)}
]
此公式与线性回归预测公式类似，对于每个实例，它计算预测误差并乘以第 $j$ 个特征值，然后计算所有训练实例的平均值。得到包含所有偏导数的梯度向量后，就可以在批量梯度下降算法中使用它来训练逻辑回归模型。对于随机梯度下降，每次处理一个实例；对于小批量梯度下降，每次处理一个小批量实例。

1.2 使用鸢尾花数据集示例

使用鸢尾花数据集来演示逻辑回归。该数据集包含 150 朵鸢尾花的萼片和花瓣的长度与宽度，分为三种不同的物种：山鸢尾（Iris setosa）、变色鸢尾（Iris versicolor）和维吉尼亚鸢尾（Iris virginica）。

以下是构建一个仅基于花瓣宽度特征来检测维吉尼亚鸢尾的分类器的代码：

from sklearn import datasets
import numpy as np

iris = datasets.load_iris()
X = iris["dat