sinat_32329183的博客

对线性回归，logistic回归和一般回归的认识      【转载时请注明来源】：http://www.cnblogs.com/jerrylead      JerryLead      2011年2月27日      作为一个机器学习初学者，认识有限，表述也多有错误，望大家多多批评指正。 1 摘要       本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与

1. 批量梯度下降法BGD  　　批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，其数学形式如下： 　　(1) 对上述的能量函数求偏导： 　　(2) 由于是最小化风险函数，所以按照每个参数θ的梯度负方向来更新每个θ： 　　具体的伪代码形式为：