多项式逻辑回归(Multinomial Logistic Regression),它是二元逻辑回归的扩展,用于处理多分类问题。
1. 多项式逻辑回归的核心思想:
与一对多(OvR)分类不同,多项式逻辑回归使用一个模型,这个模型具有所有类别的参数。其目标是同时对所有类别进行分类,而不是为每个类别训练单独的二分类器。
多项式逻辑回归的主要工具是 softmax 函数,它将线性回归结果转换为多类分类的概率分布。公式为:
p ( y = c ∣ x ) = exp ( w c ⊤ ϕ ( x ) ) ∑ k = 1 C exp ( w k ⊤ ϕ ( x ) ) p(y = c|x) = \frac{\exp(w_c^\top \phi(x))}{\sum_{k=1}^{C} \exp(w_k^\top \phi(x))} p(y=c∣x)=∑k=1Cexp(wk