深度学习——微积分基础

目录

 1、导数和微分

1.1 定义函数：

1.2 趋近过程：

1.3 绘图表示：

2、偏导数

3、梯度

4、链式法则

5、学习心得

---

在2500年前，古希腊人把一个多边形分成三角形，并把它们的面积相加，才找到计算多边形面积的方法。为 了求出曲线形状（比如圆）的面积，古希腊人在这样的形状上刻内接多边形。如图下所示，内接多边形的 等长边越多，就越接近圆。这个过程也被称为逼近法。

事实上，逼近法就是积分的起源。 2000多年后，微积分的另一支，微分被发明出来。 在微分学最重要的应用是优化问题，即考虑如何把事情做到最好，这种问题在深度学习中是无处不在的。

在深度学习中，我们“训练”模型，不断更新它们，使它们在看到越来越多的数据时变得越来越好。通常情 况下，变得更好意味着最小化一个损失函数（loss function），即一个衡量“模型有多糟糕”这个问题的分数。 最终，我们真正关心的是生成一个模型，它能够在从未见过的数据上表现良好。但“训练”模型只能将模型 与我们实际能看到的数据相拟合。因此，我们可以将拟合模型的任务分解为两个关键问题：

• 优化（optimization）：用模型拟合观测数据的过程；
• 泛化（generalization）：数学原理和实践者的智慧，能够指导我们生成出有效性超出用于训练的数据集本身的模型。

 1、导数和微分

假设我们有一个函数f : R → R，其输入和输出都是标量。如果f的导数存在，这个极限被定义为

如果f ′ (a)存在，则称f在a处是可微的。如果f在一个区间内的每个数上都是可微的，则此函数在此区间中是可微的。

1.1 定义函数：

为了更好地解释导数，让我们做一个实验。定义 u = f(x) = 3 − 4x 如下：