u011878436的博客

最优化学期学习笔记—罚函数法（代码记录） 文章目录最优化学期学习笔记---罚函数法（代码记录）前言一、引入问题二、代码 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、引入问题 考虑优化当前问题，作为等式约束，可以很容易利用添加外部惩罚项对整个函数进行修改，如下： C为惩罚项的常数（应当为大数） 当引入的惩罚项X1+x2+x3

最优化记录 文章目录最优化记录一、梯度与共轭梯度置于最优化 一、梯度与共轭梯度置于最优化 到了最优化领域当中，解析法（求导数=0得极值点）已经不能直接应用，因为多维直接解析计算量非常大，由此引申出了迭代法。机器学习的优化算法也可划分到此，不过似乎演化算法与梯度同属优化但内在多种不同。 解析法： 在我们本科学习的高数当中，要想求极小点，首先考虑的便是一阶导数为0的点，同理，高维空间中对应的概念则是梯度为0的点。(不是偏导，而是由所有偏导组成的向量） 迭代公式：Xk+1=Xk + akdk 最速下降法