随机梯度下降法（Stochastic Gradient Descent）求解以下的线性SVM模型：
w的梯度为：
传统的梯度下降法需要把所有样本都带入计算，对于一个样本数为n的d维样本，每次迭代求一次梯度，计算复杂度为O(nd) ，当处理的数据量很大而且迭代次数比较多的时候，程序运行时间就会非常慢。
随机梯度下降法每次迭代不再是找到一个全局最优的下降方向，而是用梯度的无偏估计 来代替梯度。每次更新过程为：
随机梯度下降法求解SVM（附matlab代码）
最新推荐文章于 2021-04-25 23:26:46 发布
本文介绍了使用随机梯度下降法（SGD）解决线性SVM模型，指出传统梯度下降法在大数据集上的计算复杂度问题，并提供了SGD的更新公式。通过MATLAB实现了一个示例，虽然运行速度不快，但在USPS数据库上达到了约88%的准确率。
最低0.47元/天 解锁文章
扫一扫
3884
到【灌水乐园】发言
