【协作算法】4 非线性优化中的搜索与退火：微分基础、约束转化及元启发式算法

非线性优化中的搜索与退火：微分基础、约束转化及元启发式算法高级技术手册

1. 多元微分基础与导数维度体系

1.1 标量、向量与矩阵的导数维度规则

在多元优化理论中，导数的维度由因变量与自变量的空间维度共同决定。设因变量为 A，自变量为 B，导数刻画 B 发生微小扰动时 A 的响应程度。若 A 与 B 均为标量，导数为标量。若 A 为标量而 B 为 d 维列向量，则对 B 的每个分量逐一施加扰动并保持其他分量固定，可得到 d 个偏导数，排列为 d 维向量。该向量即为梯度，其维度与自变量向量一致。若 A 为标量而 B 为矩阵，导数具有与 B 完全相同的矩阵维度。若 A 为 d2 维向量而 B 为 d1 维向量，则需计算 A 的每个分量关于 B 的每个分量的偏导，结果构成 d2 乘以 d1 矩阵。进一步地，向量对矩阵求导产生三阶张量，矩阵对矩阵求导产生四阶张量。张量在此处的含义是高维数组的推广，即具有高度维度的广义矩阵，可视为立方体或超立方体结构。

1.2 维度相容原则与矩阵运算合法性

维度相容原则在矩阵运算中至关重要。若将梯度视为行向量而非列向量，则所有涉及该梯度的矩阵乘法表达式必须同步转置，以保证乘法合法性。矩阵乘积的内维必须匹配，否则表达式在数学上无意义。因此，无论采用何种约定，推导过程中必须保持维度相容的一致性，转置操作需贯穿整个表达式。

2. 一阶与二阶微分算子

2.1 梯度向量

设标量函数