吴恩达机器学习训练1:线性回归(单变量)
本小节主要讲解的是如何利用已知的数据进行简单的线性回归分析,主要分析了梯度下降法和正规方程法两种。
线性回归分析即利用多项式函数逼近已知数据,常用来预测。例如,当已知某地区房子大小、房间数、地理位置等信息以及该房子的价格时,就可以用来预测其它房子的价格。将房子大小、房间数、地理位置作为特征参数,用矩阵X表示,将房子的价格作为预测值,用y表示,即为数学上的拟合。
要拟合已有数据,则需要有两个前提。一是假设的数学模型,如直线型、抛物线型或高次型;二是拟合效果的判断,即损失函数,使用拟合的模型拟合出来的偏差度。
数学上常使用平均偏差作为损失函数,即拟合模型计算出来的值与实际的值平方和的均值,记损失函数为:
此处h为拟合模型函数,m为数据的总数。
则拟合的最终目的是求得J最小值时的函数,此处有两种方法:梯度下降法和正规方程法。
1、梯度下降法:给定theta参数的初值,由程序迭代完成损失函数J最小值的寻找。
此处alpha为学习速率,需选择合适的值,若alpha过大,则可能会跳过最小值点,若alpha过小,