3、数学原理与函数优化：从基础到应用

数学原理与函数优化：从基础到应用

1. 数学原理回顾

在数学领域，导数是一个核心概念。当函数 (f) 为向量值函数时，其导数是一个矩阵，被称为“雅可比矩阵”，表达式如下：
[
\frac{d\mathbf{f}^T}{d\mathbf{x}} =
\begin{bmatrix}
\frac{\partial f_1}{\partial x_1} & \frac{\partial f_2}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_1} \
\vdots & \vdots & \ddots & \vdots \
\frac{\partial f_1}{\partial x_d} & \frac{\partial f_2}{\partial x_d} & \cdots & \frac{\partial f_m}{\partial x_d}
\end{bmatrix}
]
而当 (f) 为标量值函数时，其二阶导数矩阵被称为“海森矩阵”，形式为：
[
\begin{bmatrix}
\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_d} \
\vdots & \vdots & \ddots &a