结合之前的学习经验，现在总结一下项目中线性回归会使用到的各类算法：
Adam算法：Adam 算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率（即 alpha）更新所有的权重，学习率在训练过程中并不会改变。而 Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。也就是说在更新权重时，Adam算法会根据数据特点利用概率分布更新学习率。
激活函数Softplus&Rectifier:
Softplus(x)=log(1+e^x)
算法概述
最新推荐文章于 2025-08-26 19:42:33 发布
本文深入探讨了线性回归任务中Adam算法的应用，对比传统随机梯度下降，Adam算法能够为不同参数设计独立的自适应学习率，提高模型训练效率。同时介绍了激活函数Softplus的数学表达式。
扫一扫
6503
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
