残差和损失函数

按自己理解的 ↓ ↓

残差就是 Y-F(x) , 就好像残差网络里面就是用这个公式。

损失函数就是 根据需求定义的 对f(x)与Y的差异的度量方法，这跟度量空间有关，比如 下面的情况，要你比较两个学生谁更好，我们可以设定学习成绩作为比较方法，或者身高等等，这些就好像欧几里得距离，或者余弦距离一样，是设定出来的的度量。  还有一个是目标函数，有些时候目标函数就是损失函数，但是目标函数有些时候是更广的概念，目标函数用作总体的优化目标，而损失函数有时只是目标函数的一个部分而已（比如有时目标函数=损失函数+L2惩罚项）。