B站吴恩达深度学习视频笔记（7）——逻辑回归的代价函数

前言

代价函数，损失函数，误差函数，这些函数名看起来意思十分相近，实际上他们的意思也十分相近，这篇博文就来介绍一下这几个函数，以及他们在机器学习中的重要作用。代价函数很重要！

为什么需要代价函数

为了训练逻辑回归模型的参数 w和参数b我们，需要一个代价函数，通过训练代价函数来得到参数w和参数b 。先看一下逻辑回归的输出函数：

为了让模型通过学习调整参数，你需要给予一个m样本的训练集，这会让你在训练集上找到参数w和参数b，来得到你的输出。

对训练集的预测值，我们将它写成y^ ，我们更希望它会接近于训练集中的y值，为了对上面的公式更详细的介绍，我们需要说明上面的定义是对一个训练样本来说的，这种形式也使用于每个训练样本，我们使用这些带有圆括号的上标来区分索引和样本，训练样本 所对应的预测值是 y[i],是用训练样本的 (w^ T) (x^ [i])+b 然后通过sigmoid函数来得到，也可以把z定义为

我们将使用这个符号[i] 注解，上标[i] 指明数据表示x或者y 或者z或者其他数据的第i个训练样本，这就是上标[i] 的含义。

损失函数

损失函数又叫做误差函数，用来衡量算法的运行情况(后续的网络判定与评估性能就是要找到一个合适的loss，Loss function: