HCIA-AI V3.5 华为认证人工智能工程师在线课程笔记

深度学习中常用的损失函数
在训练深度学习网络，首先将目标分类的错误参数化，这就是损失函数，反应了感知器目标输出和实际输出之间的误差
回归任务最常用的损失函数为二次代价函数，td -od, 中和二次函数产生的二次项
分类任务最常用的损失函数是交叉熵代价函数
损失函数的极值：
损失函数的目的：让损失函数沿着负梯度的方向进行搜索，不断更新迭代参数W，最终使得损失函数最小化
负梯度方向是函数下降最快的方向，那我们可以从某个点开始，沿着梯度的负方向一路前行，最终可以找到损失函数的极小值
学习率是个系数，根据误差梯度调整权重数值的系数,调整梯度下降的步伐，防止跳过损失函数的极小值。
梯度是函数对每一个参数进行求导的而组成的向量
梯度向量的方向是函数增长最快的方向，负梯度方向是函数下降最快的方向