基于草图序列二次规划的约束随机优化统计推断

基于草图序列二次规划的约束随机优化统计推断

Sen Na, Michael Mahoney; 26(33):1−75, 2025.

摘要

研究在线约束随机非线性优化问题的统计推断方法。采用随机序列二次规划（StoSQP）方法求解这些问题，该方法可视为对Karush-Kuhn-Tucker（KKT）条件应用二阶牛顿法。在每次迭代中，StoSQP方法通过求解二次规划来计算牛顿方向，然后选择适当的自适应步长α¯t来更新原始-对偶迭代点。

为降低该方法的主要计算成本，在每次迭代中采用迭代草图求解器近似求解二次规划。值得注意的是，草图求解器的近似误差不需要随着迭代进行而消失，这意味着每次迭代的计算成本不会爆炸。

对于上述StoSQP方法，研究表明在温和假设下，重新缩放的原始-对偶序列1/√α¯t·(xt−x⋆,λt−λ⋆)收敛到具有非平凡协方差矩阵的零均值高斯分布，该协方差矩阵取决于底层草图分布。为在实际中进行推断，还分析了插件协方差矩阵估计器。通过在CUTEst测试集中的基准非线性问题以及线性/非线性约束回归问题上，说明了该方法的渐近正态性结果。

[摘要][PDF][BibTeX]
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码