【机器学习】线性回归

监督学习问题(supervised learning)

 

讲线性回归之前先说一下监督学习问题(supervised learning)，我们的目标是给定一个训练集（training set）根据一种学习算法（learning algorithm）去训练函数h(function h )，使得h(x)能够较好的预测y的值。

训练集（training set）的定义如下：

x(i)为输入样例，y(i)为输出样例。x(i)中上标i代表第几个输入样例，y(i)相应的输出样例。

训练函数h(function h )是一个由输入值X预测输出值Y的函数h(x)，其中h(x)里含有不确定的参数。训练的过程即为确定h(x)参数的过程。

学习算法(learning algorithm)是一种由训练集作为输入，h(x)的参数作为输出的一种方法。可以把学习算法（learning algorithm）当成一个函数来看待。

监督学习的过程如下：

 

当y的值是连续的我们称之为回归问题（regression problem），当Y的值只能取离散的值我们称之为分类问题（classification problem）。

线性回归问题（linear regression）</