本文详细介绍了梯度下降算法的原理，包括目标函数、训练集、梯度和下降过程。讨论了学习率的重要性，以及如何通过调整学习率来平衡收敛速度和稳定性。此外，还对比了批量梯度下降、随机梯度下降和小批量梯度下降三种方法，并提到训练终止的条件。最后，解答了关于多特征训练的问题，强调每个特征独立训练。
原创文章,如需转载请保留出处
本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记
一. 梯度下降原理
梯度下降算法是一个最优化算法，它是沿梯度下降的方向求解极小值。
1.1 前提条件
1.1.1 目标函数
使用梯度下降算法是要求有前提条件的。第一个就是目标函数，梯度下降是求最优解的算法没错，但是你一定要告诉梯度下降，你要求哪个函数的解。万物得有源头。目标函数就是源头。本节课的源头就是
1.1.2 训练集
这个目标函数是根据上节课推导出来的最小二乘的公式。只不过1/2后面多了个m。m是总的数据量。意味着是求多个数据之后的平均值。
第二个是训练集，有了目标函数，还得有数据支撑。只有有了大量的数据，机器才能够真正的掌握规律。(下方为数据集样本)
最终的目标是求得是这个目标函数最小(或局部最小)的参数θ。
1.2 梯度下降
梯度：得到的偏导数
下降：目标函数的极小值
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
