机器学习经典算法：决策边界（Decision Boundary）

倪桦

墨衍会员 · AI 创作全网分发码龄4年

关注

原创 2024-11-26 11:33:08 1.3k 阅读 AI 写同款· GEO 优化 ›

【机器学习】决策边界的基本概念以及如何在逻辑回归中找到决策边界 探索逻辑回归中的决策边界学习如何在逻辑回归中找到决策边界 阅读详情

1、决策边界

在分类问题中，决策边界（Decision boundaries） 的几何含义表示为一个超曲面 (线性分类的边界为超平面)，该曲面将特征空间中的样本按样本类别分布将它们划分分开。

1.2 简单逻辑回归的决策边界

逻辑回归算法改进于线性回归算法；在线性回归中，计算的模型参数 $θ\theta$ 描述了样本特征对样本输出标记的贡献程度；在逻辑回归中，样本特征通过通过模型参数 $θ\theta$ 转换为样本标记值并通过 Sigmoid 函数转换为样本分类概率值，具有如下关系：
$y^={0, p^≤0.5, θT⋅xb>0;1, p^≥0.5, θT⋅xb<0; \hat y = \left\{ \begin{aligned} 0,\ \ \ \hat p \le 0.5,\ \ \ \theta^T\cdot x_b > 0; \\ 1,\ \ \ \hat p \ge 0.5,\ \ \ \theta^T\cdot x_b < 0; \end{aligned} \right.$
这里， $y^\hat y$ 分类为 0 或 1 取决于 $θT⋅xb\theta^T\cdot x_b$ 大于或小于 0，从而 逻辑回归的决策边界 为描述方程 $θT⋅xb=0\theta^T\cdot x_b = 0$ 所在超平面。

如样本集仅包两个特征 $x_1,x_2$ ，那么就有该数据集的决策边界描述方程表示为 $θ0+θ1x1+θ2x2=0\theta_0 + \theta_1x_1 + \theta_2x_2 = 0$ ，该决策边界在样本的特征空间（二维平面）表现为一条直线：

落在决策边界上侧区域的样本分类为 1,决策边界下侧区域的样本分类为 0，落在决策边界上的样本预测概率值为 $p^=0.5\hat p = 0.5$ ，分类既可以是 0 也可以是 1。

1.2 不规则决策边界的绘制方法

通用方法： 在特征空间创建均匀分布的点集，使用模型对所有点集进行分类预测并作色，即可显示特征空间上的 决策曲面(超平面)，对无论是否可以获取 决策面描述方程 的算法模型都适用。

kNN算法模型的决策边界（典型无法获取 决策面描述方程 的模型）

kNN算法 的预测结果仅取决于其k个邻居的投票，如果这个k个邻居本身就是存在错误测量，就会影响算法的预测结果准确度。所以对于超参数 $k$ 就有 $k$ 越小，模型的泛化能力越弱，表现为方差大，模型复杂度高，对训练集处于 过拟合状态。这种模型的 高复杂度 在决策边界上表现为弯曲杂乱（上图 k_neighbors = 5 所示）；当增加邻居数目到 k_neighbors = 50 ，kNN算法模型的整体复杂度降低，此时的 决策边界在空间块上划分具有规整明显的特点。