代价函数

一，什么是代价函数
我在网上找了很长时间代价函数的定义，但是准确定义并没有，我理解的代价函数就是用于找到最优解的目的函数，这也是代价函数的作用。

二，代价函数作用原理
对于回归问题，我们需要求出代价函数来求解最优解，常用的是平方误差代价函数。

比如，对于下面的假设函数:

里面有θ0和θ1两个参数，参数的改变将会导致假设函数的变化，比如：

现实的例子中，数据会以很多点的形式给我们，我们想要解决回归问题，就需要将这些点拟合成一条直线，找到最优的θ0和θ1来使这条直线更能代表所有数据。

而如何找到最优解呢，这就需要使用代价函数来求解了，以平方误差代价函数为例。
从最简单的单一参数来看，假设函数为：

平方误差代价函数的主要思想就是将实际数据给出的值与我们拟合出的线的对应值做差，这样就能求出我们拟合出的直线与实际的差距了。

而在前面乘以1/2，是因为后面求导会有2，为了简便计算。这样，就产生了代价函数：

而最优解即为代价函数的最小值，根据以上公式多次计算可得到
代价函数的图像：

可以看到该代价函数的确有最小值，这里恰好是横坐标为1的时候。

如果更多参数的话，就会更为复杂，两个参数的时候就已经是三维图像了：

高度即为代价函数的值，可以看到它仍然有着最小值的，而到达更多的参数的时候就无法像这样可视化了，但是原理都是相似的。
因此，对于回归问题，我们就可以归结为得到代价函数的最小值：

---

这是我在学习ng的机器学习课程的基础上，经过自己的一些思考，写下学习笔记，重点是对于一些细节的思考和逻辑的理清。
以上很多都是个人见解，如果有不对的地方还请大家指点。