互联网广告从业者，长期关注AI、计算广告以及搜广推相关技术，致力于广告投放、广告策略以及底层技术透明可视，太阳底下没有新鲜事，人人可懂可会

概述最小二乘问题在实际应用中非常广泛，也是无约束最优化问题的重要应用之一，但是对于该问题还有一些特殊的求解思路，供参考。该小结主要介绍： 问题定义 线性最小二乘问题以及求解 非线性最小二乘问题以及求解 总结 最小二乘问题描述最小二乘问题泛指具有如下形式的问题minf(x)=12∑j=1...mr2j(x)min f(x)=\frac12 \su

概述数值优化对于最优化问题提供了一种迭代算法思路，通过迭代逐渐接近最优解，分别对无约束最优化问题和带约束最优化问题进行求解。 该系列教程可以参考的资料有 1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright 2. 《凸优化》–Stephen Boyd 3. 《非线性最优化基础》–Masao Fukushima

概述 对于非线性约束最优化问题，序列二次规划和内点法是两类非常重要的算法，也是大规模问题的利器。序列二次规划方法将原始问题分解为一系列二次规划问题逐步求解；内点法将将约束添加到目标函数中转换为一系列无约束问题逐步求解。两类算法共同思想将原始问题转换为可求解问题。 1. 序列二次规划概述 2. 内点法概述 3.总结序列二次规划(SQP)概述序列二次规划(Seque

概述 求解带约束的最优化问题，一类很重要的方法就是将约束添加到目标函数中，从而转换为一系列子问题进行求解，最终逼近最优解。关键问题是如何将约束进行转换。本节主要介绍 1. 二次惩罚方法 2. 非平滑惩罚方法 3. 增广拉格朗日方法二次惩罚方法动机带约束问题如果转换为目标函数加上一个对约束的惩罚项，则问题转换为一个无约束问题。 转换后的问题可以通过惩罚项的系

概述 二次规划问题是目标函数是二次的，并且约束是线性的问题。在非线性约束最优化问题中非常重要，通常作为其他问题的子步骤存在。 1.二次规划问题 2.二次规划求解算法 3. 总结二次规划问题标准形式二次规划问题的标识形式如下minq(x)=12xTGx+xTcs.t.aTix=bi, i∈E aTix≥bi, i∈Imin q(x)=\frac 12x^TGx

概述 在实际问题中不是所有的目标函数或者约束都是线性的，本节主要介绍对于非线性约束或者目标函数如何有效的求解。 1. 非线性约束问题概述 2. 求解非线性约束常用的思路 3. 总结非线性约束最优化问题基本形式表示为min f(x) s.t  ci(x)=0,i∈Eci(x)≥0,i∈Imin\ f(x)\ \\ s.t\ \ c_i(x)=0, i \in

概述 线性规划问题是指目标和约束函数都是线性的最简单的约束最优化问题，也是在实际中最长使用的模型之一。其求解算法也是相对成熟，各个代数软件中都会有求解该问题的工具，本节主要介绍： 1. 线性规划的基本形式已经对偶 2. 线性规划两类求解算法：单纯形和内点法 3. 总结线性规划问题标准形式线性规划的标准形式通常表示为min cTx,s.t Ax=b, x

概述 带约束的最优化问题是区别于无约束最优化问题的，另外一大类最优化问题。在实际中也经常遇到，本节主要介绍了带约束最优化问题的相关理论以及最优解满足的必要条件。 1. 带约束最优化问题概述 2. 带约束最优化问题解的必要条件示例 3. 最优解满足的一阶和二阶必要条件 4. 对偶 5. 总结带约束最优化问题数学形式为min f(x)st. ci(x

概述 实际中很多应用不是寻找最优解，而是寻找一个根满足给定的约束条件，如果有n个非线性等式约束，就是本节介绍的非线性方程问题，本节主要介绍 1. 非线性方程的问题形式 2. 非线性方程的求解算法 3. 总结非线性方程的问题形式问题形式，寻找满足n个非线性等式的根，即r(x)=0r(x) = 0 其中r(x)=[r1(x),...rn(x)]Tr(x)=[r

数值优化的学习过程是长期的、是枯燥的也是最有用的，一旦入门对机器学习者、算法工作者都会有很大的帮助。在此记录Numerical Optimization的学习、思考和实践。

概述 在实际应用中，有些目标函数的梯度不容易计算，即使使用有限差分等近似算法，也会因为噪声的存在导致结果不精确。无梯度优化算法（DFO-Derivative-Free Optimization）可以在不计算梯度的情况下进行问题的最优化，主要有两类思路，一是根据目标函数的样本进行拟合，对拟合函数进行最优化；二是用一些启发式算法。 1. 有限差分和误差 2. 基于模型近似的方法

概述 最优化问题中很多算法，包括非线性最优化、非线性等式等都需要计算导数。简单函数可以直接进行人工计算或者编码实现，对于复杂的情况，需要寻找一些方法进行计算或者近似。本节主要内容包括 1. 常见导数求解方法 2. 有限差分方法 3. 自动微分方法 4. 总结常见导数求解方法有限差分方法（Finite Differencing）根据导数的定义，导数表

本文探讨大规模无约束优化中的存储与计算瓶颈，指出传统牛顿法因 $O(n^2)$ 存储和 $O(n^3)$ 计算复杂度难以应对高维问题。通过对比稠密 Hessian、L-BFGS 与仅梯度的内存需求，揭示 $n > 10^4$ 后牛顿法“根本装不下”。提出非精确牛顿方法：用共轭梯度等迭代求解牛顿方程，以“forcing sequence”控制子问题精度，实现超线性或二次收敛。实验表明，早期可粗略求解，后期需精确，综合成本最优。核心思想是：避免显式存储 $n\times n$ 矩阵，仅通过矩阵-向量乘实现高效优

拟牛顿方法在不计算Hessian矩阵的前提下，通过梯度变化信息逐步逼近二阶曲率，实现超线性收敛。其核心是满足拟牛顿方程 $B_{k+1}s_k = y_k$（或 $H_{k+1}y_k = s_k$），确保近似矩阵与真实曲率一致。常见方法如DFP和BFGS分别基于对称正定矩阵的最小修正原则构造更新公式，其中BFGS因数值稳定性更优而广泛应用。结合Wolfe线搜索可保证曲率条件 $s_k^Ty_k > 0$，从而维持正定性与收敛性。

共轭梯度（CG）算法是求解对称正定线性方程组 $Ax=b$ 及等价最优化问题的高效迭代方法。其核心思想是利用共轭方向，确保每一步搜索方向在 $A$ 度量下正交，避免重复工作，实现最多 $n$ 步收敛。相比最速下降法，CG 不需存储矩阵，收敛更快。通过共轭方向算法的有限步收敛性证明，可理解其本质：在共轭方向张成的子空间中逐步逼近最优解。非线性版本则将此思想推广至一般优化问题，保持低内存与快速收敛优势。

信赖域方法和线搜索类似都是迭代方法，与其不同的是，每次迭代时，在一个选定的可信赖区域内，选择当前迭代点的近似模型 mkm_k ，然后计算最优步长；如果步长不合适，可以对区域进行缩放。该小结主要介绍：信赖域方法的基本形式求解信赖域的基础方法信赖域方法的收敛性和收敛速度信赖域方法的扩展信赖域方法的基本形式在信赖域方法中，可信赖的区域（Region）的选择很重要，一般都会根据上

数值优化的学习过程是长期的、是枯燥的也是最有用的，一旦入门对机器学习者、算法工作者都会有很大的帮助。在此记录Numerical Optimization的学习、思考和实践。