深度学习优化算法概要

最近面试经常被问到机器学习和深度学习优化器的问题，所以做了一点简要的总结，主要是理清每种优化算法的基本思想和相互之间的对比，全文在ipad上手写，不想再转成md浪费时间了，如果看不习惯的朋友可以选择忽略直接退出((ಥ﹏ಥ))。另一篇机器学习优化算法概要的地址为 https://blog.youkuaiyun.com/qq_30992103/article/details/107793497，欢迎学习交流

BGD

SGD

MBGD

Momentum

Nesterov Accelerated Gradient

AdaGrad

RMSprop

AdaDelta

Adam

总结

References

• https://www.cnblogs.com/guoyaohua/p/8542554.html
• https://zhuanlan.zhihu.com/p/77396618
• https://www.cnblogs.com/zhangchao162/p/11311911.html