NG-机器学习总结-第二章：单变量线性回归

线性回归

概念

模型：
  
相量方式可写成：
  

代价函数

  这里代价函数也叫损失函数（loss function），它用来表示函数拟合训练样本点的好坏。定义为：
  
  其中Y是真实值，f(x)是我们给定的输出函数。一般情况下代价函数使用均方误差作为函数体针对大多数问题（特别是回归任务）进行性能度量，如下图：
  
  损失函数越小，就代表模型拟合的越好。那是不是我们的目标就只是让loss function越小越好呢？还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(X)关于训练集的平均损失称作经验风险(empirical risk)，所以我们的目标就是最小化经验风险。
  
·