14、曲线、曲面与导数：机器学习中的关键概念

曲线、曲面与导数：机器学习中的关键概念

1. 曲线的基本要求

为了便于研究，我们通常希望曲线满足一些特定的条件，具体如下：
- 单值性 ：在二维平面中，对于曲线上的每个水平位置，若绘制一条垂直线，该直线与曲线仅相交一次。也就是说，当我们从左到右（或从右到左）观察曲线时，它不会自身反向。违反此条件的曲线示例见图 5 - 2。
- 连续性 ：曲线在整个定义域内是连续的，不存在间断点。
- 光滑性 ：曲线在每一点都具有平滑的变化，没有尖锐的拐角。

满足这些条件的曲线能够保证我们在后续的研究中顺利地进行各种操作，例如求导等。

2. 导数的相关概念

导数是曲线的一个重要特性，它能够为我们提供曲线在任意点处的形状信息。下面我们将详细介绍导数相关的几个核心概念。

2.1 最大值和最小值

在深度学习的训练过程中，一个关键的任务是最小化系统的误差。通常，我们会将误差视为一条曲线，然后寻找该曲线的最小值。更一般的问题是，找到曲线在整个长度上的最小值或最大值，这些值被称为全局最小值和全局最大值。
然而，在实际情况中，寻找这些值可能会遇到困难。例如，当曲线在两个方向上无限延伸时，我们难以确定是否找到了真正的最小值或最大值；或者当曲线重复时，我们难以选择哪个高点或低点作为全局最大值或最小值的位置。
为了解决这些问题，我们引入了局部最大值和局部最小值的概念。具体操作如下：
1. 从曲线上的某一点开始，向左移动，直到曲线改变方向。如果在向左移动时，曲线的值开始增加，我们就