对代价函数的理解

至今看到很多paper中优化的时候就会有一个代价函数（Cost Function），之前一直在琢磨这个问题，请教了一些同学。不知道是说的太抽象还是怎么回事就是理解不了，今天通过一个例子明白了这个东东。举个例子吧。

简单的，就是一个变量做回归的时候。

M个样本，分别是(x1,y1)，(x2,y2)。。。。(xM,yM)。

我使用的模型是f=kx。

那么得到一个方程F = kx1+kx2+...kxM。

我回归的时候为了让误差小，得到一个方程

C = kx1-y1 + kx2-y2+....

我的目标肯定是让C最小，来达到让样本拟合。这个时候C就是cose function。

个人理解就是为了让自己的模型和真实的值得差更小，这个差就是cost function。