28、模型选择与正则化：原理、方法及应用

模型选择与正则化：原理、方法及应用

1. 模型选择方法概述

在实际应用中，模型选择是一个至关重要的环节。常见的模型选择方法主要分为参数化和非参数化两种类型。

参数化方法，例如 $R^2$、Mallow’s $C_p$ 统计量、AIC（赤池信息准则）等，具有优雅且应用简单的特点。这些方法基于解析表达式来选择模型，但需要做出一些假设，这限制了它们的应用范围。比如，$R^2$ 和 Mallow’s $C_p$ 统计量仅适用于多元线性回归模型，而贝叶斯因子则适用于贝叶斯模型。

非参数化重采样方法则不同，它没有解析表达式，不够优雅，但具有很强的灵活性，适用于任何类型的统计模型。这种方法基于数据重采样，是对 $k$ 折交叉验证（CV）的扩展，除了模型选择外，还能进行模型评估。

2. 基于 BIC 和贝叶斯因子的模型比较

在比较两个模型时，可以使用 BIC（贝叶斯信息准则）和贝叶斯因子。以下是具体的解释：
| 证据强度 | $\Delta BIC = BIC_k - BIC_{min}$ | $BF_{min,k}$ |
| ---- | ---- | ---- |
| 弱 | 0 - 2 | 1 - 3 |
| 正 | 2 - 6 | 3 - 20 |
| 强 | 6 - 10 | 20 - 150 |
| 非常强 | > 10 | > 150 |

这里，“min” 表示具有较小 BIC 或后验概率的模型。

3. 非参数化模型选择方法

非参数化模型选择方法可用于一般统计模型，包括多元线性回归模型和贝叶斯模型。其核心