12、机器学习中的泛化边界与线性模型

机器学习中的泛化边界与线性模型

1. 泛化边界相关练习

在机器学习领域，泛化边界是一个重要的概念，它与模型的学习能力和性能评估密切相关。下面通过几个练习来深入理解泛化边界相关的知识。

1.1 练习Q5.1

基于VC维度的概念，解释为什么在示例中使用无界数据库的记忆方法是不可学习的。VC维度衡量了模型的复杂度和学习能力，当使用无界数据库进行记忆时，模型只是简单地记住了所有的数据，而没有真正学习到数据背后的模式和规律。这种情况下，模型的VC维度过高，导致其在新数据上的泛化能力很差，无法准确地对未知数据进行预测，因此是不可学习的。

1.2 练习Q5.2

估计以下简单模型空间的VC维度：
| 模型空间 | VC维度估计 |
| — | — |
| a. 包含N个不同模型的模型空间 {A1, A2, · · · , AN } | 通常为有限值，具体取决于模型的性质 |
| b. 实数线上的区间 [a, b]，其中 a ≤ b | 2 |
| c. 实数线上的两个区间 [a, b] 和 [c, d]，其中 a ≤ b ≤ c ≤ d | 4 |
| d. R2 中的圆盘 | 3 |
| e. R2 中的三角形 | 7 |
| f. R2 中的矩形 | 4 |
| g. R2 中的凸包 | 无穷大（因为可以拟合任意数量的点） |
| h. Rd 中的闭球 | d + 1 |
| i. Rd 中的超矩形 | 2d |

1.3 练习Q5.3

在机器学习问题中，我们定义了几个重要的误差概念：