监督学习问题(supervised learning)
讲线性回归之前先说一下监督学习问题(supervised learning),我们的目标是给定一个训练集(training set)根据一种学习算法(learning algorithm)去训练函数h(function h ),使得h(x)能够较好的预测y的值。
训练集(training set)的定义如下:
x(i)为输入样例,
y(i)为输出样例。x(i)中
上标i代表第几个输入样例,y(i)
相应的输出样例。
训练函数h(function h )是一个由输入值X预测输出值Y的函数h(x),其中h(x)里含有不确定的参数。训练的过程即为确定h(x)参数的过程。
学习算法(learning algorithm)是一种由训练集作为输入,h(x)的参数作为输出的一种方法。可以把学习算法(learning algorithm)当成一个函数来看待。
监督学习的过程如下:
当y的值是连续的我们称之为回归问题(regression problem),当Y的值只能取离散的值我们称之为分类问题(classification problem)。