11、感知机与机器学习中的分类算法

感知机与机器学习中的分类算法

在机器学习领域，感知机及其相关算法是非常重要的基础内容。本文将深入探讨感知机相关的概念、算法以及实际应用，包括软最大化函数、交叉熵损失函数、逻辑回归算法等，并通过具体的练习加深理解。

1. 软最大化函数

在多分类问题中，软最大化函数（softmax function）是一个关键的工具。我们从概率的角度出发，定义了赔率（odds）：
[
\text{odds} s = \frac{p(C {s,1}|x)}{p(C_{s,2}|x)} = \frac{p(C_{s,1}|x)}{1 - p(C_{1,s}|x)} = e^{\text{net} s}
]
为了使分类更具区分性，我们使用归一化的赔率：
[
o_s = \frac{\text{odds}_s}{\sum {t = 1}^{K} \text{odds} t} = \frac{\exp(\text{net}_s)}{\sum {t = 1}^{K} \exp(\text{net} t)}
]
这就是软最大化函数。对于 $K$ 个类别的情况，第 $s$ 类的概率可以表示为：
[
p(C_s|x) = \sigma(\text{net}_s) = \frac{\exp(\text{net}_s)}{\sum {t = 1}^{K} \exp(\text{net}_t)}
]
其中，$\text{net}_s = \mathbf{w}_s^T \cdot \mathbf{x}$。软最大化函数是逻辑 sigmoid