31、线性与逻辑回归：原理、优化与应用

线性与逻辑回归：原理、优化与应用

线性回归是一种极具代表性的“机器学习”方法，可用于根据训练数据构建用于值预测和分类的模型。它具有以下特点：
- 理论基础优美，但在实践中，其代数公式通常会被更快、更启发式的优化方法所取代。
- 线性回归模型本质上是线性的，这既让我们看到了此类模型的局限性，也促使我们开发出将其推广到其他形式的巧妙技术。
- 线性回归既鼓励使用数百个变量构建模型，又需要正则化技术来确保大部分变量被忽略。

线性回归是一种基础的建模技术，应作为构建数据驱动模型的基线方法。这些模型通常易于构建、解释，并且在实践中往往表现出色。虽然通过足够的技巧和努力，更高级的机器学习技术可能会带来更好的性能，但这种潜在的回报往往不值得付出额外的努力。因此，建议先构建线性回归模型，再决定是否值得投入更多精力以获得更好的结果。

1. 线性回归

给定一组 n 个点，线性回归旨在找到最能近似或拟合这些点的直线。这样做有很多原因，其中一类目标涉及简化和压缩数据，即用一条简洁的直线来描述 xy 平面上大量嘈杂的数据点，该直线有助于可视化数据的潜在趋势，并突出异常值的位置和大小。不过，我们最关注的是将回归作为一种值预测方法。我们可以将每个观测点 p = (x, y) 视为函数 y = f(x) 的结果，其中 x 表示特征变量，y 表示独立的目标变量。给定一组 n 个这样的点 {p1, p2, …, pn}，我们要寻找能最好解释这些点的函数 f(x)，该函数可以对这些点进行插值或建模，从而为任何可能的 x′ 估计其对应的 y′ 值，即 y′ = f(x′)。

1.1 线性回归与对偶性

回归与求解线性方程之间存在有趣的联系。在求解线性方程组时，