本文探讨了SGD（随机梯度下降）在优化过程中的局限性，包括优化速度慢和准确性不高的问题。提出了RDA（正则化双平均）方法作为改进方案，该方法通过对损失项和正则化项进行区分处理，获得了正则化项的闭合形式解，从而提高了优化速度。
sgd：
对损失项和正则化项一刀切，没对正则化项区别对待。以致
1）优化速度慢；2）准确性不高。
rda：
regularized dual averaging
正则双平均
对损失项和正则化项区分考虑，获得正则化项的闭合形解。在优化速度方面优于sgd。
为什么称为双平均？
对损失项和正则化项一刀切，没对正则化项区别对待。以致
1）优化速度慢；2）准确性不高。
rda：
regularized dual averaging
正则双平均
对损失项和正则化项区分考虑，获得正则化项的闭合形解。在优化速度方面优于sgd。
为什么称为双平均？
在损失项子梯度中，一是对历史子梯度的平均，二是对当前子梯度的平均。
扫一扫
1065
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
