11、微积分在机器学习中的应用：从基础导数到梯度下降

微积分在机器学习中的应用：从基础导数到梯度下降

1. 单变量导数

导数与变化率的概念紧密相关，变化率在各个科学领域都有广泛应用，如速度是距离随时间的变化率，投资回报率也是一种变化率。在数学教育早期，我们将变化率作为直线的斜率来学习，斜率通常用 (m) 表示，即 (m = \frac{\Delta y}{\Delta x})，其中 (\Delta) 表示“变化量”。当 (y) 与 (x) 的关系为线性，即 (y = mx + b) 时，变化率就是直线的斜率；而当关系非线性时，微积分就变得至关重要。

在非线性关系中，某一点的变化率可以通过在该点画切线并求切线的斜率来确定，这就是“瞬时”斜率，求这个斜率的方法称为计算导数。导数有多种表示方法，例如：
- (\frac{dy}{dx})（Leibnitz 记号）
- (f’(x))
- (y’)
- (D_x[f])
- (D_x(f(x)))

这些都可读作“(y) 关于变量 (x) 的导数”。对于一些简单函数的导数，我们可能比较熟悉，如 (y = x^2) 时，(y’ = 2x)；(y = x^3) 时，(y’ = 3x^2)。

2. 求和与求差法则

微积分中有关于函数和与差的求导法则，即：
(D_x\left[\left[f(x) \pm g(x)\right]\right] = D_x\left[f(x)\right] \pm D_x\left[g(x)\right])

例如，使用求和法则求 (x^5 + x^3) 的导数，根据法则分别对 (x^5) 和 (x^3) 求导，((x^5)^\prime = 5x^