优化算法
关注
分享
扫一扫
lxx199603
正在学习数据科学
展开
-
优化算法笔记02：差分近似导数
在优化问题中，有时会用有限差分法近似求目标函数的Hessian矩阵，下面介绍这一方法。 如果函数的自变量是一个向量，那么根据函数值的类型，有：标量的导数是向量，标量的偏导数是标量；向量的导数是矩阵，向量的偏导数是向量。 比如，函数 套一个具体的函数：，这个函数求导很简单，导数是一个三阶单位矩阵，本文只是拿它来举例说明。此函数可以写成 根据偏导数的定义，有如果...原创 2018-10-07 17:15:58 · 4288 阅读 · 2 评论 -
优化算法笔记01：牛顿法的实现
牛顿法是梯度下降方法的重要成员，其算法流程如下。对于需要最小化的目标函数1. 给定初值2. 代入递推公式进行迭代：3. 判断终止条件，若满足条件则终止迭代，得到最小值点，终止条件我一般选择如下：其中，取步长以函数为例，给出牛顿法的MATLAB代码如下。function [x,iters]=newton()% Objective function, first...原创 2018-09-29 20:08:54 · 808 阅读 · 0 评论