课堂内容
给予 n 维输入,
线方法有 n 个权重和偏差:
输出是输入的加权总和:
点积形式:
矩阵-向量乘法表示:
矢量化版本:=<w,x>+b
梯度指示的反向是各点处的函数值减小最多的方向,所以无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。
但沿着它的方向能最大限度的减小函数的值。所以在寻找函数的最小值的位置任务中,以梯度的信息为线索,决定前进的方向。
流程:在梯度法中,函数的取值从当前位置沿着梯度方向前进一定的距离,然后在新的方向重新求梯度,再沿着新梯度的方向前进,如此反复,不断的沿梯度方向前进。
衡量预估质量
损失函数能够量化目标的实际值与预测值之间的差距,例如房屋售价和估价。
回归问题最常用的损失函数是平方损失
作为真实值, 作为估计值
梯度指示的反向是各点处的函数值减小最多的方向,但无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。在寻找函数的最小值的位置任务中,以梯度的信息为线索,决定前进的方向。流程:在梯度法中,函数的取值从当前位置沿着梯度方向前进一定的距离,然后在新的方向重新求梯度,再沿着新梯度的方向前进,如此反复,不断的沿梯度方向前进。衡量预估质量损失函数能够量化目标的实际值与预测值之间的差距,例如房屋售价和估价。回归问题最常用的损失函数是平方损失。