***常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）

参考博文：常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）

待解决概念：
共轭梯度法
启发式优化方法：模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。
多目标优化算法：它主要针对同时优化多个目标（两个及两个以上）的优化问题，这方面比较经典的算法有NSGAII算法、MOEA/D算法以及人工免疫算法等。