14、曲线、曲面与导数：机器学习中的关键概念解析

曲线、曲面与导数：机器学习中的关键概念解析

1. 曲线的基本要求

在研究曲线时，我们通常希望曲线满足一些特定的条件，即曲线是光滑、连续且单值的。
- 单值性 ：在二维平面中，单值曲线意味着对于页面上的每个水平位置，画一条垂直线，该直线与曲线仅相交一次。也就是说，当我们从左到右（或从右到左）观察曲线时，它不会自身反向。例如，图中紫色区域内的曲线就不满足单值性，在垂直方向上有多个值。
- 光滑性和连续性 ：光滑和连续的曲线有助于我们进行后续的分析，确保曲线在每一点都有良好的性质。

2. 导数的概念

导数是曲线的一个重要特性，它能告诉我们曲线在任意一点的形状信息。
- 最大值和最小值
- 全局最值 ：在深度学习训练中，一个关键任务是最小化系统的误差。我们通常将误差想象成一条曲线，然后寻找该曲线的最小值。更一般地，我们可能需要找到曲线在整个长度上的最小值或最大值，这些值被称为全局最小值和全局最大值。然而，寻找全局最值有时会面临困难，例如曲线在两个方向上无限延伸，或者曲线重复出现，我们难以确定真正的最值。
- 局部最值 ：为了解决这些问题，我们可以考虑某一点邻域内的最大值和最小值。具体做法是，从曲线上的某一点开始，向左移动直到曲线改变方向。如果值在向左移动时开始增加，我们继续移动直到值开始减少；如果值在向左移动时减少，我们在值开始增加时停止。同样的操作在向右移动时也进行一遍。这样我们得到三个点：起始点、向左移动停止的点和向右移动停止的点。这三个点中的