【机器学习25】-诊断偏差和方差

【机器学习25】-诊断偏差和方差

当你运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：要么是偏差比较大，要么是方差比较大。换句话说，出现的情况要么是欠拟合，要么是过拟合问题。那么这两种情况，哪个和偏差有关，哪个和方差有关，或者是不是和两个都有关？搞清楚这一点非常重要，因为能判断出现的情况是这两种情况中的哪一种。其实是一个很有效的指示器，指引着可以改进算法的最有效的方法和途径。在这段视频中，我想更深入地探讨一下有关偏差和方差的问题，希望你能对它们有一个更深入的理解，并且也能弄清楚怎样评价一个学习算法，能够判断一个算法是偏差还是方差有问题，因为这个问题对于弄清如何改进学习算法的效果非常重要，高偏差和高方差的问题基本上来说是欠拟合和过拟合的问题。

以下是关于**偏差（Bias）和方差（Variance）**的诊断与分析的格式化输出：

---

1. 核心概念

• 偏差（Bias）：模型对真实关系的错误假设，导致欠拟合（$underfit$）。
• 表现：模型过于简单，无法捕捉数据规律。
• 方差（Variance）：模型对训练数据过度敏感，导致过拟合（$overfit$）。
• 表现：模型过于复杂，拟合了噪声而非真实规律。

---

2. 诊断方法

通过比较**训练误差（$J_{train}$）和交叉验证误差（$J_{cv}$）**判断问题类型：

问题类型	训练误差（$J_{train}$）	交叉验证误差（$J_{cv}$）	关系	图示案例
高偏差（$underfit$）	高	高	$$J_{train}\approx J_{cv}$$	左图（线性模型）
高方差（$overfit$）	低	显著高于训练误差	$$J_{cv}\gg J_{train}$$	右图（高阶多项式）
两者兼具	高	更高	$$J_{cv}>J_{train}$$	中间过渡区域

关键步骤：

1. 计算训练误差和交叉验证误差。
2. 根据误差大小和差距判断问题类型（参考上表）。

---

3. 解决方案

（1）高偏差（$underfit$）

• 表现：
• 模型：$f(x)=w_{1}x+b$（线性）。
• 误差：$J_{train}$ 和 $J_{cv}$ 均高且接近。
• 改进方法：
• 增加模型复杂度（如更高次多项式、更多神经网络层）。
• 添加更多特征。
• 减少正则化参数 $\lambda$。

（2）高方差（$overfit$）

• 表现：
• 模型：$f(x)=w_{1}x+w_2{x}^2+w_3{x}^3+w_4{x}^4+b$。
• 误差：$J_{train}$ 低，$J_{cv}$ 显著升高。
• 改进方法：
• 简化模型（如降低多项式次数、减少神经网络单元数）。
• 增加训练数据量。
• 增强正则化（增大 $\lambda$）。

（3）高偏差和高方差并存

• 表现：
• 模型复杂度介于简单和复杂之间。
• 误差：$J_{train}$ 高，$J_{cv}$ 更高。
• 改进方法：
• 调整模型复杂度至“刚刚好”（如二次多项式）。
• 优化特征工程（如删除无关特征或添加有用特征）。

---

4. 实例分析

• “刚刚好”模型：
• 模型：$f(x)=w_{1}x+w_2{x}^2+b$（二次多项式）。
• 误差：$J_{train}$ 和 $J_{cv}$ 均低，平衡了偏差和方差。
• 选择依据：
• 交叉验证误差最小的模型（图中最低点对应的多项式次数）。

---

5. 总结：诊断与改进流程

1. 训练模型 → 计算 $J_{train}$ 和 $J_{cv}$。
2. 诊断问题：
   • 高偏差 → 增加复杂度。
   • 高方差 → 简化模型或正则化。
3. 验证改进：重新评估交叉验证误差。

口诀：
• “高偏差？加特征、减正则！”
• “高方差？减参数、增数据！”

通过系统性地应用上述方法，可有效诊断和解决偏差与方差问题，提升模型性能。

---

根据四张图片的核心内容，以下是关于偏差-方差权衡与正则化参数选择的系统性解析：

---

1. 核心概念（图1）

• 偏差（Bias）：模型简化导致的欠拟合（$J_{train}$和$J_{cv}$均高）。
• 方差（Variance）：模型复杂导致的过拟合（$J_{train}\ll J_{cv}$）。
• 正则化作用：通过调整$\lambda$平衡两者，公式：
$$J(\mathbf{w},b)=\frac{1}{2m}\sum _{i=1}^m(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}{)}^2+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2$$

---

2. 正则化参数$\lambda$的影响（图2 & 图4）

$\lambda$取值	模型表现	误差特点	图示位置
$\lambda$极大（$10^4$）	高偏差（欠拟合）	$f_{\mathbf{w},b}(x)\approx b$	图2左图
$\lambda$适中	最优平衡	$J_{train}$和$J_{cv}$均小	图2中图/图4最低点
$\lambda =0$	高方差（过拟合）	$J_{train}$极低，$J_{cv}$飙升	图2右图

关键结论：
• 图4显示$J_{train}$和$J_{cv}$随$\lambda$的变化曲线，最优$\lambda$位于两条曲线间隙最小处。

---

3. 正则化参数选择流程（图3）

步骤：

1. 尝试$\lambda$候选值（如$0,0.01,0.02,...,10$）。
2. 计算交叉验证误差$J_{cv}({\mathbf{w}}^{<i>},b^{<i>})$。
3. 选择最优$\lambda$：对应最小$J_{cv}$的组合（图中选择$\lambda =0.08$）。
4. 最终评估：用测试集计算$J_{test}({\mathbf{w}}^{<5>},b^{<5>})$。

数学表达：
$$\underset{\lambda }{\min }{J}_{cv}(\mathbf{w},b)\text{s.t.}\mathbf{w},b=\arg \min J(\mathbf{w},b)$$

---

4. 诊断与改进策略

（1）高偏差问题

• 表现：$J_{train}$和$J_{cv}$接近且高（图2左）。
• 解决：
• 增加多项式次数（图3模型$f(x)={\sum }_{k=1}^4{w}_k{x}^k+b$）。
• 减小$\lambda$（放松正则化约束）。

（2）高方差问题

• 表现：$J_{train}\approx 0$但$J_{cv}\gg J_{train}$（图2右）。
• 解决：
• 增大$\lambda$（增强正则化，压缩权重）。
• 减少特征或使用更简单模型。

（3）最优平衡点

• 判定标准：$J_{cv}$最小且$|J_{train}-J_{cv}|$适中（图4中间区域）。

---

5. 实例演示（图3）

• 模型：四次多项式回归$f(x)={\sum }_{k=1}^4{w}_k{x}^k+b$。
• 选择过程：
• 尝试$\lambda =0.08$时$J_{cv}$最小，故选定${\mathbf{w}}^{<5>},b^{<5>}$。
• 最终报告$J_{test}({\mathbf{w}}^{<5>},b^{<5>})$。

---

6. 总结：操作指南

1. 划分数据集：训练集（拟合）、验证集（调$\lambda$）、测试集（最终评估）。
2. 迭代尝试：
   • 遍历$\lambda$候选值，训练模型并计算$J_{cv}$。
3. 选择与验证：
   • 选择最小$J_{cv}$对应的$\lambda$，用测试集确认泛化性。

公式总结：
• 正则化损失函数：
$$J(\mathbf{w},b)=\frac{1}{2m}\sum _{i=1}^m(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}{)}^2+\frac{\lambda }{2m}\Vert \mathbf{w}{\Vert }_2^2$$
• 最优$\lambda$：
$${\lambda }^{\ast }=\arg \underset{\lambda }{\min }{J}_{cv}(\mathbf{w},b)$$

通过系统化应用上述方法，可有效解决偏差-方差问题并优化模型性能。

---

以下是关于正则化线性回归模型调试方法的详细解答与解题思路：

---

1. 问题诊断（图片核心公式）

模型使用正则化线性回归，但预测误差较大，其损失函数为：
$$J(\mathbf{w})=\frac{1}{2m}\sum _{i=1}^m(f_{\mathbf{w}}({\mathbf{x}}^{(i)})-y^{(i)}{)}^2+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2$$
关键问题：需判断误差源于高偏差（欠拟合）还是高方差（过拟合）。

---

2. 调试方法及适用场景（图片标注）

（1）解决高方差（过拟合）的方法

方法	作用原理	数学依据
获取更多训练样本	减少模型对噪声的敏感性	降低$J_{cv}$与$J_{train}$的差距
尝试更小的特征集	减少冗余特征，降低复杂度	减小${\sum }_{j=1}^n{w}_j^2$项影响
增大正则化参数$\lambda$	强化权重惩罚，抑制过拟合	增大$\frac{\lambda }{2m}|\mathbf{w}{|}_2^2$

（2）解决高偏差（欠拟合）的方法

方法	作用原理	数学依据
获取额外特征	增强模型捕捉规律的能力	增加特征维度$n$
添加多项式特征	引入非线性关系（如$x^2,x^3$）	扩展模型为$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$
减小正则化参数$\lambda$	放松权重约束，提升模型灵活性	减小正则化项权重

---

3. 解题流程与选择策略

步骤1：判断问题类型

• 高方差表现：
• $J_{train}$低但$J_{cv}$显著高（$J_{cv}\gg J_{train}$）。
• 图片提示：红色标注"Try smaller sets of features"或"increasing $\lambda$"。
• 高偏差表现：
• $J_{train}$和$J_{cv}$均高且接近。
• 图片提示：红色标注"Try adding polynomial features"或"decreasing $\lambda$"。

步骤2：选择对应调试方法

• 若高方差：优先尝试获取更多数据或增大$\lambda$（图片中红色箭头强调）。
• 若高偏差：优先尝试添加多项式特征或减小$\lambda$（图片中红色标注）。

步骤3：验证效果

• 重新计算$J_{train}$和$J_{cv}$，观察误差变化：
• 成功标准：$J_{cv}$下降且与$J_{train}$差距缩小。

---

4. 实例演示（图片中案例）

• 场景：房价预测模型误差大。
• 调试过程：

1. 发现$J_{cv}\gg J_{train}$ → 判断为高方差。
2. 选择方法：
   ◦ 增大$\lambda$（从0.01调整到0.1），重新训练模型。
   ◦ 或减少特征（如删除冗余特征$x_3,x_5$）。
3. 验证：调整后$J_{cv}$降低至合理范围。

---

5. 总结：关键公式与口诀

• 正则化损失函数：
$$J(\mathbf{w})=\text{MSE}+\frac{\lambda }{2m}\Vert \mathbf{w}{\Vert }_2^2$$
• 调试口诀：
• “方差大？加数据、减特征、调大$\lambda$！”
• “偏差高？加特征、升次数、调小$\lambda$！”

通过系统化应用图片中的调试策略，可快速定位并解决模型性能问题。