最优化
关注
分享
扫一扫
金字塔顶的蜗牛*3
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
什么是光滑的函数？
光滑函数(smoothing function)是指在优化过程中，如果目标函数是光滑函数，那么有一些最优化方法可以保证优化时得到全局最优解。原创 2016-03-08 15:29:51 · 25578 阅读 · 0 评论 -
坐标下降法
坐标下降法是一种思想简单的优化方法，常用的坐标轮换搜索是其中的一个特例。原创 2016-03-08 18:40:35 · 1583 阅读 · 0 评论 -
重新发现梯度下降法--backtracking line search
原文地址：http://www.cnblogs.com/fstang/p/4192735.html一直以为梯度下降很简单的，结果最近发现我写的一个梯度下降特别慢，后来终于找到原因：step size的选择很关键，有一种叫backtracking line search的梯度下降法就非常高效，该算法描述见下图：下面用一个简单的例子来展示，给一个无约束优化问题：mini转载 2016-03-08 22:09:21 · 3716 阅读 · 2 评论 -
批梯度下降法和随机梯度下降法(SGD)
相比于批梯度下降法，随机梯度下降法更快，但是也有不能收敛到最优解的问题。一种min-batch的梯度下降法是二者的折中。原创 2016-03-08 18:42:50 · 740 阅读 · 0 评论