Linear Regression: Least-Squares

什么是线性模型

前提假设：输入变量与输出变量呈线性关系

什么是线性回归

线性回归，可以说是一个线性模型的一个实例

仅有一个变量（one Feature）的线性回归模型，如下，蓝色的点为训练数据，灰色和红色的直线为对训练数据的回归预测，红色的直线为最佳的线性回归模型

如下，蓝色的点为训练数据，训练数据用于预测参数W0和b,其中用于评估模型参数的方法之一为least-squares linear regression,也叫做ordinary least-squares,该评估模型的主要原理就是当平均方差（每个预测值与真实值的差的平方的平均值）为最小值时，w和b的值则为模型的w和b的值

对于线性模型，模型的复杂度依赖于输入数据的权重W,
loss function: 对不准确预测的惩罚（a penalty value for a incorrect prediction）

代码展示