13、曲线的导数与梯度：从二维到多维的极值探索

曲线的导数与梯度：从二维到多维的极值探索

1. 曲线的基本假设

在研究曲线时，我们假设所有曲线都满足平滑、连续且单值的规则。这是合理的假设，因为我们通常会特意选择具有这些性质的曲线。

2. 导数的概念

导数是曲线的一个重要方面，它能让我们了解曲线在任意点的形状。

2.1 最大值和最小值

在深度学习训练中，一个关键部分是最小化系统误差。我们常将误差想象成一条曲线，然后寻找该曲线的最小值。更普遍的问题是找到曲线在整个长度上的最大值或最小值。
- 全局最值 ：如果这些值是曲线整个长度上的最大和最小值，我们称这些点为全局最大值和全局最小值。
- 局部最值 ：当曲线在两个方向上无限延伸，或者曲线重复时，寻找全局最值会变得困难。为解决这些问题，我们考虑给定点邻域内的最大值和最小值。从曲线上的某一点开始，向左和向右移动，根据值的增减情况确定停止点，这三个点（起始点、左右停止点）中的最小值就是起始点的局部最小值，最大值就是局部最大值。

最值类型	定义	数量
全局最大值	曲线整个长度上的最大取值	1 个
全局最小值	曲线整个长度上的最小取值	1 个