【机器学习-14】-二分类 vs N分类--逻辑回归 vs. Softmax回归

【机器学习-14】-逻辑回归 vs. Softmax回归：核心公式与解题指南

---

1. 逻辑回归（Logistic Regression）

适用场景：二分类问题（如判断肿瘤恶性/良性）
核心公式：

$$\begin{array}{rl}z& =\mathbf{w}\cdot \mathbf{x}+b\text{(线性组合)}\\ a_1& =g(z)=\frac{1}{1+e^{-z}}=P(y=1\mid \mathbf{x})\text{(Sigmoid函数)}\\ a_2& =1-a_1=P(y=0\mid \mathbf{x})\end{array}$$

解题步骤：

1. 计算线性得分 $z=\mathbf{w}\cdot \mathbf{x}+b$。
2. 通过Sigmoid函数将 ( z ) 映射为概率 ( a_1 )。
3. 设定阈值（如0.5）判定类别：
   • 若 $a_1\ge 0.5$，预测 ( y=1 )；否则 ( y=0 )。

2. Softmax回归（Softmax Regression）

适用场景：多分类问题（如手写数字识别，4个类别）
核心公式：

$$\begin{array}{rl}{z}_j& ={\mathbf{w}}_j\cdot \mathbf{x}+b_j\text{(第j类的线性得分)}\\ a_j& =\frac{e^{z_j}}{{\sum }_{k=1}^N{e}^{z_k}}=P(y=j\mid \mathbf{x})\text{(Softmax函数)}\end{array}$$

特性：
• 所有类别概率之和为1（${\sum }_{j=1}^N{a}_j=1$）。
• 输出概率最大的类别为预测结果。

解题步骤：

1. 对每个类别计算线性得分 $z_j$。
2. 通过Softmax函数归一化为概率分布 ( a_j )。
3. 选择概率最大的 ( a_j ) 对应的类别。

• 逻辑回归损失函数（二元交叉熵）：
$$\text{loss}=-y\log a_1-(1-y)\log (1-a_1)$$

• Softmax回归损失函数（多元交叉熵）：
$$\text{loss}=-\log a_j$$（( j )为真实类别标签）

---

3. 关键对比

特性	逻辑回归	Softmax回归
输出类别数	2（二分类）	( N )（多分类）
激活函数	Sigmoid	Softmax
概率归一化	$a_1+a_2=1$	${\sum }_{j=1}^N{a}_j=1$
参数数量	1组权重 ( \mathbf{w} )	( N ) 组权重 ( \mathbf{w}_j )

---