机器学习|回归问题与python实现

大多数的回归问题，都可以使用最小二乘法来求解参数，而求解参数的过程又通常依赖梯度下降法。不仅是回归问题，很多机器学习都是基于梯度下降来实现参数优化，因此梯度下降可以说是机器学习的核心算法之一。简单地说梯度下降利用导数，通过不断迭代，经过有限次的运算，逐渐逼近最优解。

1. 一元回归与最小二乘

直接看吴恩达老师课程中的例子。现在有一些房价和面积的数据(x,y)，想找出他们之间的关系。

我们可以大概画出散点图，通过图形分布，假设他们之间是线性关系。那么这个例子可以抽象为，求一个方程f(x) = k*x+b，使预测值f(x)与真实值y尽量接近。

如何算是接近？我们定义一个新的函数来判断接近程度。这个函数叫做损失函数，用差平方来表示,[f(x)-y]2。它反映了预测值与真实值的偏离程度。差平方和则反映了所有样本的偏离大小。将参数k和b用p取代，假设共有m个样本，那么拟合问题就成了找一组p值，使如下函数值最小。