6、线性模型扩展：从逻辑回归到GLM和GAM

线性模型扩展：从逻辑回归到GLM和GAM

1. 逻辑回归

1.1 线性回归用于分类的问题

线性回归在回归问题中表现良好，但在分类问题上存在不足：
- 非概率输出 ：线性模型不输出概率，而是将类别视为数字（0和1），拟合最佳超平面以最小化点与超平面之间的距离，无法将其解释为概率。
- 值超出范围 ：线性模型会外推，给出小于0和大于1的值，这表明可能有更智能的分类方法。
- 缺乏有意义的阈值 ：由于预测结果不是概率，而是点之间的线性插值，因此没有有意义的阈值来区分不同类别。
- 不适用于多类分类 ：线性模型难以扩展到多类分类问题，会强制特征与类别预测之间形成奇怪的结构。

1.2 逻辑回归理论

逻辑回归是一种解决分类问题的方法，它使用逻辑函数将线性方程的输出压缩在0和1之间。逻辑函数定义为：
[logistic(\eta) = \frac{1}{1 + exp(-\eta)}]

从线性回归到逻辑回归的步骤相对直接。在分类问题中，我们将线性方程的右侧包裹在逻辑函数中，迫使输出仅取0到1之间的值。例如，对于肿瘤大小的例子，逻辑回归模型为：
[P(y^{(i)} = 1) = \frac{1}{1 + exp(-(\beta_0 + \beta_1x_1^{(i)} + \ldots + \beta_px_p^{(i)}))}]

1.3 逻辑回归权重解释

逻辑回归中权重的解释与线性回归不同，因