7、机器学习中的优化与正则化：从基础到实践

机器学习中的优化与正则化：从基础到实践

1. 自动微分基础

自动微分是机器学习中计算导数的重要方法。以参数 a = 0 为例，我们可以逐步计算导数：

paramater a:0
->
da = a
b = cos a
->
db = negate(sin(a))
c = exp b
->
dc = multiply(exp(b), db)

计算原函数的导数本质上就像递归计算中间函数的导数一样简单。我们可以通过既定的梯度规则转换中间表达式，将原函数转换为一个新的函数。

自动微分有前向模式和反向模式两种。Nx 严格使用反向模式自动微分，这在大多数自动微分库中很常见。前向模式则是在计算实际表达式的同时计算导数。两种模式在计算和内存方面存在权衡。一些库，如 JAX，可以计算前向和反向模式的梯度，甚至可以结合使用以实现更高效的梯度计算。

输出张量表示相对于原始输入具有最大变化率的向量。基于梯度的优化是一种强大的优化形式，在机器学习，尤其是深度学习中被广泛使用。借助自动微分，我们只需要一个目标函数，就可以针对某些模型参数对其进行优化。

2. 机器学习中的优化问题

机器学习可以被看作是一个优化问题，其核心是寻找能够将输入最佳地转换为标签的参数。

2.1 学习与优化的关系

一个训练好的机器学习系统的核心是将输入转换为标签。我们可以用一个简单的预测函数来表示：

de