【协作算法】1 非线性优化中的搜索与退火：微分基础、约束转化及元启发式算法

非线性优化中的搜索与退火：微分基础、约束转化及元启发式算法

1. 导数的维度分析体系

在多元优化理论中，导数的维度由因变量与自变量的空间维度共同决定。设因变量为 A，自变量为 B，导数描述的是当 B 发生微小扰动时 A 的响应程度。若 A 与 B 均为标量，导数为标量。若 A 为标量而 B 为 d 维列向量，则对 B 的每个分量逐一施加扰动并保持其他分量固定，可得到 d 个偏导数，排列为 d 维向量。该向量即为梯度，其维度与自变量向量一致。若 A 为标量而 B 为矩阵，导数具有与 B 完全相同的矩阵维度。若 A 为 d₂ 维向量而 B 为 d₁ 维向量，则需计算 A 的每个分量关于 B 的每个分量的偏导，结果构成 d₂ × d₁ 矩阵。进一步地，向量对矩阵求导产生三阶张量，矩阵对矩阵求导产生四阶张量。张量在此处的含义是高维数组的推广，即具有高度维度的广义矩阵，可视为立方体或超立方体结构。

维度相容原则在矩阵运算中至关重要。若将梯度视为行向量而非列向量，则所有涉及该梯度的矩阵乘法表达式必须同步转置，以保证乘法合法性。矩阵乘积的内维必须匹配，否则表达式在数学上无意义。因此，无论采用何种约定，推导过程中必须保持维度相容的一致性，转置操作需贯穿整个表达式。

2. 梯度、Hessian 与 Jacobian 的严格定义

2.1 梯度

设标量函数 f: ℝᵈ → ℝ 将向量 x 映射为实值 f(x)。梯度定义为函数对输入向量的一阶偏导数所构成的列向量：