组稀疏表示—优化问题

Group-based Sparse Representation for Image Restoration

• 这篇文章里面讲了解决L0范数问题，这个过程激发了对凸优化问题的关注

• 首先是 hard thresholding& soft thresholding

硬阈值(Hard Thresholding)函数解读 有几篇优化的博文

• 然后是Angrew Ng上面用的fminunc和fmincg的应用

• SPLIT BREGMAN解决l1问题的方法

SPLIT BREGMAN 主页有代码

The Split Bregman Method for L1-Regularized Problems

• Matlab运用

Matlab函数fminunc/fminbnd/fmincon求解工程优化问题

Matlab fmincon函数用法

注意：
（1）fmincon函数提供了大型优化算法和中型优化算法。默认时，若在fun函数中提供了梯度（options 参数的GradObj设置为'on'），并且只有上下界存在或只有等式约束，fmincon函数将选择大型算法，当既有等式约束又有梯度约束时，使用中型算法。
（2）fmincon函数的中型算法使用的是序列二次规划法。在每一步迭代中 求解二次规划子问题，并用BFGS法更新拉格朗日Hessian矩阵。
（3）fmincon函数可能会给出局部最优解，这与初值X0的选取有关。