机器学习精要项目：多类分类与感知机算法详解

机器学习精要项目：多类分类与感知机算法详解

machine_learning_refined Notes, examples, and Python demos for the 2nd edition of the textbook "Machine Learning Refined" (published by Cambridge University Press). 项目地址: https://gitcode.com/gh_mirrors/ma/machine_learning_refined

多类分类问题概述

在机器学习中，多类分类是指将输入数据划分到三个或更多类别的问题。与二分类问题不同，多类分类需要更复杂的决策边界和分类策略。本章将重点讨论线性多类分类中的感知机算法，这是对经典二类感知机的自然扩展。

多类感知机成本函数

理论基础

多类感知机的核心思想是同时训练所有类别的分类器，而不是像"一对多"(OvA)方法那样单独训练每个分类器后再融合。给定一个包含C个类别的数据集{(xₚ, yₚ)}，其中yₚ∈{0,1,...,C-1}，我们的目标是找到一组权重{w_c}，使得融合规则能够尽可能准确地预测标签：

yₚ = argmax (xₚᵀw_c)

这意味着对于每个数据点xₚ，其真实类别yₚ对应的分类器应该给出最大的输出值。

成本函数构建

为了量化这个目标，我们可以定义一个点成本函数：

gₚ(w₀,...,w_{C-1}) = (max xₚᵀw_c) - xₚᵀw_{yₚ}

这个函数总是非负的，当分类正确时达到最小值0。将所有点的成本平均，就得到了多类感知机成本函数：

g(w₀,...,w_{C-1}) = (1/P)Σ[ (max xₚᵀw_c) - xₚᵀw_{yₚ} ]

这个函数是凸的，且当所有权重为零时达到全局最小值(这需要避免)。

等价形式

通过数学变换，我们可以将成本函数改写为更类似于二类感知机的形式：

g(w₀,...,w_{C-1}) = (1/P)Σ max(0, xₚᵀ(w_c - w_{yₚ}))

这种形式更清晰地展示了当C=2时，多类感知机退化为标准的二类感知机。

正则化与约束优化

权重归一化

为了公平比较不同类别分类器的输出，我们需要约束特征权重部分的长度。将每个权重向量w_c分解为偏置项b_c和特征权重ω_c：

xₚᵀw_c = b_c + xₚᵀω_c

然后添加约束||ω_c||₂² = 1，形成约束优化问题：

minimize (1/P)Σ[ (max b_c + xₚᵀω_c) - (b_{yₚ} + xₚᵀω_{yₚ}) ] subject to ||ω_c||₂² = 1, ∀c

正则化方法

实际应用中，我们通常通过正则化来近似解决这个约束问题。使用单个正则化参数λ≥0，将约束优化转化为无约束问题：

minimize (1/P)Σ[ (max b_c + xₚᵀω_c) - (b_{yₚ} + xₚᵀω_{yₚ}) ] + λΣ||ω_c||₂²

这种方法简化了优化过程，同时保持了分类器的性能。

算法特点与应用

多类感知机具有以下特点：

1. 直接优化融合规则，而不是单独优化每个分类器
2. 成本函数是凸的，保证了优化过程的稳定性
3. 通过正则化处理权重归一化约束
4. 是二类感知机的自然推广

在实际应用中，多类感知机适用于：

• 类别数量适中的分类问题
• 需要快速训练的场景
• 作为更复杂模型的基础组件

理解多类感知机不仅有助于掌握线性分类的基本原理，也为学习更先进的分类算法(如支持向量机)奠定了基础。

machine_learning_refined Notes, examples, and Python demos for the 2nd edition of the textbook "Machine Learning Refined" (published by Cambridge University Press). 项目地址: https://gitcode.com/gh_mirrors/ma/machine_learning_refined