30、逻辑回归：从二元到多元的深入解析

逻辑回归：从二元到多元的深入解析

1. 多项式特征扩展与二元逻辑回归

在二元逻辑回归问题中，多项式特征扩展是一种常用的技术。例如，在一个二维的二元逻辑回归问题中，不同的多项式次数（Degree K）会对模型产生不同的影响。当Degree K = 1时，模型相对简单；Degree K = 2时，模型复杂度有所增加；Degree K = 4时，模型复杂度进一步提高。同时，我们还可以观察训练和测试误差随Degree的变化情况，这可以通过 logreg_poly_demo.py 生成相关图像来直观展示。

1.1 最大似然估计

最大似然估计是估计逻辑回归模型参数的一种重要方法。下面我们将详细介绍其相关内容。

1.1.1 目标函数

在忽略偏置项（为了简化符号）的情况下，负对数似然（NLL）可以表示为：
[
\begin{align }
NLL(w) &= -\log \prod_{n=1}^{N} Ber(y_n|\mu_n)\
&= -\sum_{n=1}^{N} \log[\mu_n^{y_n} \times (1 - \mu_n)^{1 - y_n}]\
&= -\sum_{n=1}^{N} [y_n \log \mu_n + (1 - y_n) \log(1 - \mu_n)]\
&= \sum_{n=1}^{N} H(y_n, \mu_n)
\end{align }
]
其中，(\mu_n = \sigma(a_n))是类别1的概率，(a_n = w^{\top}