利用梯度下降(BGD、SGD、MBGD)求解线性回归参数总结

说明：本文示例所使用的数据集gongyeyuan.xlsx来源于链家网，里面含有5306条苏州市工业园区内二手房的售价与其面积信息。另：本文使用的工具主要是Python3+Jupyter Notebook。

本文的主要内容是利用三种不同的梯度下降法求解已建立的线性回归模型中的参数，并据此对三种梯度下降进行一个简单的比较。

先导入要用到的各种包：

%matplotlib notebook
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np

读入数据并查看数据的相关信息：

查看data中前五条数据：

data = pd.read_excel('gongyeyuan.xlsx','Sheet2')
data.head()

查看data的各描述统计量信息：

data.describe()

绘制原始数据的散点图：

fig,axes = plt.subplots()
data.plot(kind='scatter',x='Area',y='Price',marker='o',color='k',ax=axes)
axes.set(xlabel='Area',ylabel='Price',title='Price vs. Area')
fig.savefig('p1.png')

建立一个简单的线性回归方程y=b+ax，然后以此方程为基础，希望能通过二手房的面积对其售价有一个大致的预测。

下面分别利用三种不同的梯度下降方法求解线性回归方程中的未知参数：

数据预处理：

# 向data中插入一列便于矩阵计算的辅助列：
data.insert(0,'Ones',1)
data.head()

利用批量梯度下降

cols = data.shape[1]
X = data.iloc[:,0:cols-1] # X是data中不包括索引列的前两列
y =