52、回归分析与正则化技术详解

回归分析与正则化技术详解

在数据分析和机器学习领域，回归分析是一种强大的工具，用于理解变量之间的关系并进行预测。本文将深入探讨回归分析中的多种技术，包括普通最小二乘回归、正则化方法（如岭回归）以及逻辑回归，并介绍相关的优化算法。

1. 普通最小二乘回归与 $r^2$ 统计量

普通最小二乘回归是一种常见的回归方法，可用于平滑原始时间序列数据。以人民币交易型开放式指数基金（CNY）为例，回归模型能去除大部分价格波动，仅保留最显著的价格变化。

然而，残差平方和（RSS）并不总是能准确反映回归模型的拟合优度。通常，我们使用 $r^2$ 统计量来评估回归模型的拟合程度。$r^2$ 值表示数据与统计模型的拟合程度，其计算公式如下：
[
r^2 = 1 - \frac{RSS}{TSS}
]
其中，$RSS = \sum_{i=0}^{n - 1} (y_i - f(x_i, w))^2$，$TSS = \sum_{i=0}^{n - 1} (y_i - \bar{f})^2$。

以下是计算 $r^2$ 统计量的代码实现：

def rssSum(xt: XTSeries[DblVector], y: DblVector): XY = {
  val regression = MultiLinearRegression[Double](xt, y)
  (regression.rss.get, 
    xt.toArray.zip(y).foldLeft(0.0) { (s, x) =>
      val d = (x._2 - (regressi