第十九篇 正则化后求解优化问题

一 问题描述

在求解最优化问题时，往往引入正则化的概念，用来防止在数据样本不够时产生过拟合问题。

二 正则化模型

2.1 普通最小二乘问题

本文以最小二乘问题为例，阐述如何求解。普通最小二乘问题如下：
$$\begin{gathered} A\ast x=b \\ x=argmin(||b-A\ast x|{|}^2) \end{gathered}$$

2.2 正则化最小二乘问题

因为出现过拟合时，多项时系数的平方和比较大，所以对求解结果x的模本身增加约束。
$$\begin{gathered} A\ast x=b \\ x=argmin(||b-A\ast x|{|}^2+{\sigma }_i^2\ast \Sigma x_i^2) \end{gathered}$$

三 正则化模型求解

3.1 普通最小二乘解

$$x=(A^{T}A{)}^{-1}{A}^{T}b$$

3.2 梯度下降法

正则化增加了残差项，可以使用梯度下降法。
$$\frac{\partial f}{\partial x}=2\ast (A^{T}A\ast x-A^{T}b+{\sigma }_i^2\ast \Sigma x_i)$$

3.3 增加约束方程

同时增加残差项也相当于增加约束方程。数学问题等同如下。
$$\begin{gathered} A\ast x=b \\ {\sigma }_i\ast x_i=0 \end{gathered}$$
进一步化简为
$$A_{reg}\ast x=b_{reg}$$
其中各表达式如下
$$\begin{gathered} \Sigma =diag([{\sigma }_1,{\sigma }_2,...,{\sigma }_n]) \\ {A}_{reg}=\left[\begin{array}{c}A\\ \Sigma \end{array}\right] \\ {b}_{reg}=\left[\begin{array}{c}b\\ 0\end{array}\right] \end{gathered}$$
最小二乘法求解
$$x=(A_{reg}^T\ast A_{reg}{)}^{-1}\ast A_{reg}^T\ast b_{reg}$$

四 举一反三

4.1 非线性问题类推

正则化过程的本质是如3.3 所述引入了约束方程，防止多项式系数过大产生过拟合现象。非线性优化问题同样可以引入方程进行同样的正则化。只是求误差解雅克比矩阵也分成两部分，观测量部分也分成两部分。
$$\begin{gathered} f(x)=b \\ {\sigma }_i\ast x_i=0 \end{gathered}$$
误差函数也分为两部分
$$\begin{gathered} f_1=f(x)-b \\ {f}_2=x_i-0=x_i \end{gathered}$$
求出误差函数的雅克比
$$\begin{gathered} J1=\frac{\partial f_1}{\partial x}=\frac{\partial f}{\partial x} \\ J2=\frac{\partial f_2}{\partial x}=diag([{\sigma }_1,{\sigma }_2,...,{\sigma }_n]) \\ J=\left[\begin{array}{c}J1\\ J2\end{array}\right] \end{gathered}$$
初始化状态量x为X0，求出误差量。
$$deltaY=\left[\begin{array}{c}f({\vec{X}}_0)-b\\ {\vec{X}}_0\end{array}\right]$$
高斯牛顿法求解
$$\begin{gathered} deltaX=(J^T\ast J{)}^{-1}\ast J^T\ast deltaY \\ X=X_0-deltaX \end{gathered}$$

4.2 其它增加误差项的问题类型

非线性优化问题，经常增加各种各样的误差约束项，来求出最优解，导致求解雅克比变得复杂。由4.1 可知，通过增加约束方程，可以分解为各个误差量单独求雅克比，再把雅克比矩阵拼起来，运用高斯牛顿法求解。

第一步 确定所有约束方程，以及各方程权重。
第二步 构造误差向量，确定每一维误差向量表达式。（往往一类误差一个表达式）
第三步 对每一维误差求出雅克比。
第四步 把雅克比拼接起来，得到总雅克比。
第五步 运用高斯牛顿法迭代求解。