
优化方法
文章平均质量分 83
优化方法
浅梦s
浙大计算机硕士,现于阿里巴巴担任算法工程师。公众号:浅梦的学习笔记,Github:https://github.com/shenweichen
展开
-
在线学习算法FTRL-Proximal
本文首先简要说明了几种在线稀疏学习算法,如L1OGD,TG,FOBOS,RDA。然后主要介绍FTRL算法,包括参数更新策略,公式推导,和逐维度的学习率调度机制。最后给出了LR模型上带l1l2正则化的FTRL算法的伪代码。原创 2017-10-09 15:52:53 · 3918 阅读 · 0 评论 -
深度学习中的优化方法
本文介绍了深度学习中优化的若干问题,包括小批量梯度下降,SGD和动量方法,自适应学习率算法,二阶近似算法,批标准化和坐标下降等原创 2017-10-03 15:27:00 · 10854 阅读 · 2 评论 -
无约束最优化方法
本文介绍了无约束最优化的两种常用方法,梯度法和牛顿法,拟牛顿法和BFGS,Broyden类算法原创 2017-10-01 21:17:25 · 1100 阅读 · 0 评论 -
优化问题及其Lagrange对偶问题
优化和凸优化形式。Lagrange对偶问题。强弱对偶性。互补松弛性和KKT条件。原创 2017-08-24 01:08:55 · 10609 阅读 · 1 评论 -
Lasso回归的坐标下降法推导
本文介绍了Lasso回归的目标函数,以及使用坐标下降法求解Lasso回归问题的步骤,最后介绍了Lasso回归的概率解释。原创 2017-08-22 21:38:15 · 18574 阅读 · 6 评论