机器学习经典算法:决策边界(Decision Boundary)

1、决策边界

在分类问题中,决策边界(Decision boundaries) 的几何含义表示为一个超曲面 (线性分类的边界为超平面),该 曲面 将特征空间中的样本按样本类别分布将它们划分分开。

1.2 简单逻辑回归的决策边界

逻辑回归算法改进于线性回归算法;在线性回归中,计算的模型参数 θ\thetaθ 描述了样本特征对样本输出标记的贡献程度; 在逻辑回归中,样本特征通过通过模型参数θ\thetaθ转换为样本标记值并通过 Sigmoid 函数转换为样本分类概率值,具有如下关系:
y^={0,   p^≤0.5,   θT⋅xb>0;1,   p^≥0.5,   θT⋅xb<0; \hat y = \left\{ \begin{aligned} 0,\ \ \ \hat p \le 0.5,\ \ \ \theta^T\cdot x_b > 0; \\ 1,\ \ \ \hat p \ge 0.5,\ \ \ \theta^T\cdot x_b < 0; \end{aligned} \right. y^={0,   p^0.5,   θTxb>0;1,   p^0.5,   θTxb<0;
这里,y^\hat yy^ 分类为 0 或 1 取决于 θT⋅xb\theta^T\cdot x_bθTxb 大于或小于 0,从而 逻辑回归的决策边界 为描述方程 θT⋅xb=0\theta^T\cdot x_b = 0θTxb=0 所在超平面 。

样本集仅包两个特征 x1,x2x_1,x_2x1,x2,那么就有该数据集的决策边界描述方程表示为 θ0+θ1x1+θ2x2=0\theta_0 + \theta_1x_1 + \theta_2x_2 = 0θ0+θ1x1+θ2x2=0,该决策边界在样本的特征空间(二维平面)表现为一条直线:

落在决策边界上侧区域的样本分类为 1,决策边界下侧区域的样本分类为 0,落在决策边界上的样本预测概率值为 p^=0.5\hat p = 0.5p^=0.5 ,分类既可以是 0 也可以是 1

1.2 不规则决策边界的绘制方法

通用方法: 在特征空间创建均匀分布的点集,使用模型对所有点集进行分类预测并作色,即可显示特征空间上的 决策曲面(超平面),对无论是否可以获取 决策面描述方程 的算法模型都适用。

kNN算法模型的决策边界(典型无法获取 决策面描述方程 的模型)

kNN算法 的预测结果仅取决于其k个邻居的投票,如果这个k个邻居本身就是存在错误测量,就会影响算法的预测结果准确度。所以对于超参数kkk 就有 kkk 越小,模型的泛化能力越弱,表现为方差大,模型复杂度高,对训练集处于 过拟合状态。 这种模型的 高复杂度 在决策边界上表现为弯曲杂乱(上图 k_neighbors = 5 所示); 当增加邻居数目到 k_neighbors = 50 ,kNN算法模型的整体复杂度降低,此时的 决策边界在空间块上划分具有规整明显的特点

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

倪桦

有帮助的话请杯咖啡吧,谢谢!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值