auguste805的博客

SVD分解是矩阵计算的一个有效的分解方法，截断的SVD（TSVD）会由于低秩近似产生截断误差。

现在随着AI的兴趣，机器学习、深度学习、强化学习等问题广泛应用在各个领域，而最优化问题求解，即损失函数最小化成为了求解问题关键的一个环节。使得最近20年，优化方法发展迅速，许多人从不同的角度去阐释算法改良的路线。包括从优化问题本身（凸或非凸，光滑或离散）、自适应学习率（动态调整学习率，减少手调参数的频率，应用更多的场景）、加速技巧（动量加速类的算法）等。因此，许多领域的学者都致力于研究该问题的改进，包括统计学、计算机、数学等，希望这样的文章能帮助大家寻找该问题的研究方向。