【数据挖掘导论】HW2

梯度下降法的多变量线性回归

理论概述

• 线性回归方程

  单变量线性回归只包含一个变量$x$，其线性回归方程可表示为$h(\theta )={\theta }_0+{\theta }_1{x}_1$。

  当模型包含多个变量时，线性回归方程：$h(\theta )={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n$，可假设$x_0=1$，此时方程可表示成$h(\theta )={\theta }_0{x}_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n={\sum }_{i=0}^{i=n}{\theta }_i{x}_i$。

• 目标（代价）函数

  • 批量梯度下降(BGD)：每一次迭代时使用所有样本来进行梯度的更新

    $J({\theta }_0,{\theta }_1,\dots ,{\theta }_n)=\frac{1}{2m}{\sum }_{i=1}^{i=m}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

  1. 目标函数对${\theta }_i$求偏导

     $\frac{\partial J({\theta }_0,{\theta }_1,\dots ,{\theta }_n)</}{\partial {\theta }_j}$