机器学习 | 分类算法原理——线性不可分

半亩花海

已于 2024-08-13 10:36:48 修改

阅读量528

点赞数 7

分类专栏：机器学习学习笔记文章标签：分类算法线性不可分机器学习

于 2024-07-29 09:57:00 首次发布

本文链接：https://blog.youkuaiyun.com/ttrr27/article/details/140736673

版权

学习笔记同时被 2 个专栏收录

42 篇文章

订阅专栏

机器学习

20 篇文章

订阅专栏

Hi，大家好，我是半亩花海。接着上次的对数似然函数继续更新《白话机器学习的数学》这本书的学习笔记，在此分享线性不可分这一分类算法原理。本章的分类算法原理基于《基于图像大小进行分类》项目，欢迎大家交流学习！

一、线性不可分概述

二、案例分析

一、线性不可分概述

线性不可分问题（Linear Non-separable Problem）是指在多类别分类问题中，数据样本在特征空间中不能完全线性分离的情况。这种情况通常发生在数据样本在特征空间中存在非线性关系或者数据分布不均匀等情况下。

二、案例分析

在前面的学习中，我们研究了线性可分的情况，现在我们将逻辑回归应用于线性不可分问题，通俗地说，就是用直线不能分类的问题。形象地看，如下这样的情况就是线性不可分。

但是对于这个例子来说，虽然用直线不能分类，但用曲线貌似可以分类。我们应该要像学习多项式回归时那样，去增加次数。

那么，我们就向训练数据中加入 $x_1^2$ ，考虑下面这样的数据。

$\boldsymbol{\theta}=\left[\begin{array}{c} \theta_0 \\ \theta_1 \\ \theta_2 \\ \theta_3 \end{array}\right], \quad \boldsymbol{x}=\left[\begin{array}{c} 1 \\ x_1 \\ x_2 \\ x_1^2 \end{array}\right]$

通过矩阵乘法的规则，得出 $\boldsymbol{\theta}^{\mathrm{T}} \boldsymbol{x}$ 的结果如下。

$\boldsymbol{\theta}^{\mathrm{T}} \boldsymbol{x}=\theta_0+\theta_1 x_1+\theta_2 x_2+\theta_3 x_1^2$

假设 $\theta$ 是下面这样的向量，那么 $\boldsymbol{\theta}^{\mathrm{T}} \boldsymbol{x} \geq 0$ 的图形会是怎样？

$\boldsymbol{\theta}=\left[\begin{array}{l} \theta_0 \\ \theta_1 \\ \theta_2 \\ \theta_3 \end{array}\right]=\left[\begin{array}{c} 0 \\ 0 \\ 1 \\ -1 \end{array}\right]$

由于 $\boldsymbol{\theta}^{\mathrm{T}} \boldsymbol{x} \geq 0$ ，我们可以先代入，再像之前一样对得到的不等式进行变形。

$\begin{aligned} \boldsymbol{\theta}^{\mathrm{T}} \boldsymbol{x} & =\theta_0+\theta_1 x_1+\theta_2 x_2+\theta_3 x_1^2 \\ & =0+0 \cdot x_1+1 \cdot x_2+-1 \cdot x_1^2 \\ & =x_2-x_1^2 \geqslant 0 \end{aligned}$